Animated Drawings是什么
Animated Drawings是Meta AI推出的开源工具,基于AI技术将手绘人物绘画自动转化为动画。Animated Drawings提供一套完整的工具和算法,能检测、分割绘画中的人物,为其生成动画效果。用户能通过配置文件灵活控制动画的场景、动作和角色。工具提供自动注释生成工具,帮助用户快速创建动画所需的注释文件。Animated Drawings支持多种输出格式,如MP4视频和透明GIF。

Animated Drawings的主要功能
自动动画化手绘人物:将用户上传的手绘人物绘画自动转化为动画,支持多种动作和场景。灵活的配置文件:基于配置文件(如yaml格式)控制动画的细节,包括角色动作、场景设置等。自动注释生成:用AI模型自动检测绘画中的人物并生成注释文件(如关节位置、分割掩码),简化动画制作流程。多格式输出:支持输出为MP4视频、透明GIF等格式,满足不同使用需求。多角色与背景添加:支持在动画中添加多个角色和背景图像,丰富动画内容。自定义BVH文件支持:用户能用自己的BVH(骨骼动画)文件驱动动画,适配不同骨架动作。错误修正工具:提供界面工具,支持用户手动修正AI模型生成的错误注释,确保动画效果更准确。
Animated Drawings的技术原理
图像检测与分割:基于计算机视觉技术对用户上传的手绘人物绘画进行检测和分割。通过预训练的目标检测模型,系统能够识别出绘画中的人物轮廓及其在图像中的位置。用分割算法生成分割掩码,将人物从背景中分离出来。姿态估计:在检测到人物轮廓后,系统用姿态估计模型(例如基于深度学习的OpenPose模型)检测人物的关键点,如头部、四肢等关节位置。这些关键点的检测结果被保存为注释文件,为动画生成提供必要的数据支持。用精确的关节位置检测,系统能更好地理解人物的姿势和结构,实现更自然的动作映射。动画生成:为将动作数据应用到手绘人物上,用BVH(骨骼动画)文件作为动作源。文件包含人物动作的骨骼数据。系统基于动作重定向技术,将BVH文件中的动作数据映射到绘画人物的关节上,让绘画人物能执行相应的动作。系统用As-Rigid-As-Possible形状变形算法,确保在动作执行过程中,绘画人物的形状保持自然和连贯。配置与渲染:用户能通过配置文件(如yaml格式)灵活定义动画的具体参数,包括角色、动作、场景等。配置文件为动画生成提供详细的指令,使系统能根据用户的个性化需求生成动画。最后,系统根据配置文件将动画渲染为视频或GIF格式,支持多种输出选项,如透明背景等,满足不同用户的需求。
Animated Drawings的项目地址
项目官网:https://sketch.metademolab.com/canvasGitHub仓库:https://github.com/facebookresearch/AnimatedDrawings
Animated Drawings的应用场景
创意与艺术教育:激发儿童和艺术爱好者的创造力,将绘画作品变成动画,增强艺术教育的趣味性和互动性。内容创作与娱乐:创作者快速制作手绘动画短视频或短片,分享到社交媒体,吸引观众,提升内容吸引力。互动体验与展览:在博物馆、展览、线下活动中,通过实时动画化观众绘画,增加互动性和趣味性,提升参与感。广告与营销:品牌制作个性化手绘动画广告,吸引消费者注意力,提升社交媒体曝光度。游戏开发:快速生成角色动画原型,开发互动游戏,让玩家用绘画控制游戏角色动作。