Meta再次惊艳开源界!涂鸦秒变动画,全新数据集震撼亮相
智东西报道,近日,Meta AI的基础人工智能研究(FAIR)团队带来了一个令人振奋的消息。他们成功推出了一项全新的AI动画绘图开源项目,能够将各种人物涂鸦瞬间转化为生动逼真的动画。这一技术的问世,标志着人工智能对人类社会创造力的全新赋能。
Meta的创始人兼CEO马克·扎克伯格在Instagram上分享了他女儿的画作变成动画的神奇时刻。这一技术展示了AI如何理解人类的想象力,并将其转化为可视的动画形式。
为了推动这项技术的进一步发展和应用,Meta AI不仅公开了动画代码,还推出了一个包含近18万张带标注的业余绘图新数据集。据Meta介绍,这是第一个专注于此类艺术风格的数据集。Meta还制作了一个直观的操作步骤解说视频,方便人们这个开源动画绘图项目。该项目的论文已被计算机图形领域的国际顶级期刊接收,并将在国际计算机图形顶级会议上展示。
这个项目的起源可以追溯到2021年,当时FAIR的研究人员希望通过让计算机视觉的技术更直观的方式来呈现。他们面临的挑战是如何让AI模型理解各种独特甚至奇特的人物画作。为此,他们采用了一系列先进的技术手段,如目标检测模型、姿势估计模型和基于图像处理的分割方法等。
获取大规模的人物画集来训练计算机视觉模型是一项艰巨的任务。研究人员将复杂的任务分解为一系列子任务,并创建了一个强大的动画绘图演示网站。这个网站为用户提供了强大的功能,可以在浏览器上公开访问,上传他们的绘图,查看或更正一些标注预测。在一分钟内,用户就能看到由绘图中的类人角色完成的动画。
该项目的推出立即得到了广大用户的热烈响应。在最初的几个月里,超过160万张图片被上传并同意使用。虽然演示中主要聚焦于人物形象的转化,但用户们仍然上传了许多其他形式的图片,如四足动物、鸟类、鱼类等。用户们对更全面工具的期待也日益增长,比如透明背景、支持不同的骨骼类型、多个交互角色、音效、背景风景和文本叠加等。
为了激发更多开发者的参与和体验,Meta决定公开动画绘图演示使用的模型和代码的开源版本。这一举措不仅让人们看到了AI技术的巨大潜力,也展示了Meta在人工智能研究领域的领先地位。
对于想要尝试将手绘人物角色转化为动画的爱好者们,即使不具备编程技能,也可以在浏览器上轻松实现。只需登陆Animated Drawings网站(:[网站链接]),上传手绘图片后,网站提供了一系列工具来调整检测到的边界框、分割蒙版和关节位置。无需复杂的操作,只需选择预设动作,手绘角色就能立刻动起来。
在这背后,是Meta重新设计的计算机视觉模型在发挥作用。由于绘画领域的外观风格差异显著,Meta使用业余绘图数据集对模型进行了微调,确保其能够准确识别和理解手绘作品的特点。
具体使用步骤如下:
1. 上传一张包含人物角色的手绘图片至Animated Drawings网站。
2. 调整角色周围的边界框至精确位置。
3. 将角色从背景中精准分离出来并使用工具进行细节修复。
4. 检查角色的关节确保动画流畅度调整至最佳状态即可完成手绘角色的动画化。如果想要下载和运行代码只需前往GitHub项目(:[GitHub链接])。
此外为了训练AI更好地理解手绘人物作品需要让它学习大量的草图数据集Meta今天分享的新数据集(已在相关研究论文中详细描述)旨在帮助研究者和从业者更轻松准确地分析业余绘图的内容。为了确保数据集的高质量并保护用户隐私Meta采取了严格的审查过滤措施包括使用自监督聚类方法识别过滤非手绘图像签约机构进行人工审查等。通过这些努力Meta希望能够为开发者提供一个高质量的数据集以推动手绘人物动画化的研究和发展满足用户的期待增加更多功能如多个角色额外的动作以及更丰富的面部表情等。
总的来说Meta的这一创新项目不仅展示了AI技术的巨大潜力也为开发者提供了一个强大的工具来推动手绘人物动画化的研究和发展。随着技术的不断进步我们期待看到更多令人惊艳的AI应用出现并改变我们的生活。动图舞蹈人物:开源数据与AI技术的华丽结合,激发创造力的无限可能
在数字艺术的领域中,舞蹈人物的动图已经超越了单纯的演示目的,它更是一种开放源代码和数据集的生动展现。这一数据集以丰富的艺术素材与细节模拟了现实世界的多重情境。从模糊的背景到硬阴影效果,再到复杂的纹理褶皱以及背景元素,这些细致入微的元素都是数字绘图和高分辨率扫描难以完全捕捉的精髓。除此之外,它还包含了图像边界框、分割蒙版以及关节位置的精准标注信息。这些特征为模型提供了丰富的数据资源,以便更精准地识别和动画化绘制的图形。对于研究人员而言,这无疑是一份珍贵的宝藏。
想象一下,如果你是业余绘画爱好者,手中拥有的是静态的画作,而借助这一开源的舞蹈人物动图数据集和先进的AI技术,你可以将这些作品转化为生动的动画。这不仅仅是一场视觉盛宴,更是对人类创造力的极致挑战。对于孩子们来说,他们的天马行空的想象力如果能通过这一数据集和AI技术得到展现,那将是一种无比美妙的体验,也是教育的一大进步。
Meta通过开源动画绘画项目的代码和业余绘画数据集,为更多有志于参与此类研究的创作者降低了门槛。我们的目标不仅仅是让更多的人能够轻松AI技术,更是希望用这种技术来丰富人类的创造力。我们坚信,通过开源的方式,可以激发更多人的创新热情,共同推动AI技术的发展,使人类的创造力得以充分释放和发挥。
这一开源项目不仅为专业人士提供了一个研究平台,更为广大的业余爱好者提供了无限可能。无论是想要AI技术的极限,还是想要尝试将创意转化为生动动画的绘画爱好者,这里都有无尽的机会等待你的发掘。我们期待更多的研究者能利用这些数据集和代码,更多的可能性,将人类的创意和想象力通过AI技术得以完美呈现。这不仅是一次技术的革新,更是对人类创造力的极致颂扬。让我们共同期待这场技术与艺术的完美融合之旅!