输入“/”快速插入内容

AI+动画

2024年1月20日修改
今天发现了一篇非常牛皮的内容,详细的介绍了AI视频生成中所有的技术分类和对应技术的优劣势,还有对应的工具以及典型的案例。
一起来看看《生成式 AI 动画技术概述》
在这篇文章里,我尝试系统性地介绍和归类目前用于动画领域的生成式 AI 技术,包括简要的描述、实例、优缺点,以及查找相关工具的链接。这些内容是我一年前作为动画师渴望掌握的,在那时,我正试图理清这个领域不断增长和变化的各种可能性。尽管视频风格化的案例有些与此重叠,但本文主要不涉及这方面内容。
这篇文章旨在吸引任何对此好奇的人,特别是那些可能对动画领域飞速发展感到不知所措的其他动画师和创意工作者。希望这篇文章能帮助你快速跟上潮流,并让你对这个领域有更深入的了解,而不仅仅是浏览 TikTok 上的简短内容。
免责声明: 这是我基于个人作为动画师的经验和一些主观看法撰写的文章,我希望能够和大家一起不断完善它! 在列举的工具中,我没有包括一些较老的工具,比如基于 GAN 的模型,因为基于扩散技术的模型现在已经更加成熟和受欢迎了。 需要说明的是,这篇文章不是一个教程,但你可以在大多数工具的社区找到很多有帮助的内容。想要开始探索,可以使用本文提到的关键词在线搜索!
Generative image 图像生成技术
依赖于使用生成图像人工智能模型的技术,这些模型是在静态图像上进行训练的。
生成图像作为素材和资产
可以将从各种 AI 应用生成的静态图像,应用于传统的创作流程中,如 2D 平面剪贴、数字编辑、图像拼贴,甚至可以作为其他 AI 工具的素材来源,例如那些能够将静态图像转换为视频的工具。除了图像的来源和素材类型,这种方法还依赖于你通常对图像进行剪裁和编辑的技巧。
短片《行星与机器人的作者使用数字剪纸为生成的人工智能图像制作动画。它还与 LLMs 一起生成语音脚本。
工具
动画可以使用 After Effects、Moho、Blender 等来完成。
逐帧生成图像
这包含了所有使用生成式扩散图像模型的技术,这些技术按照与动画创作密切相关的方式工作,能够生成连续的动画帧,仿佛是手绘和拍摄的传统动画。
这里的关键点在于,当这些模型生成每一帧图像时,它们本身并不包含时间或运动的概念。但最终能够制作出动画效果,这依赖于额外添加的机制和各种应用或扩展的支持。这种效果常常被称为“时间连贯性”,意味着动画在时间上的流畅和一致。
这些技术在动画制作中常常会产生一种特有的闪烁效果。尽管很多使用者试图尽可能消除这种闪烁,动画师却将其称作“沸腾”效果,这在动画艺术中一直是一种常见的表现手法。
这些技术主要适用于像 Stable Diffusion 这样的开源模型及基于它们开发的工具。这类工具通常允许用户调整一系列参数,有时甚至可以在本地硬件上运行。与此相对的是,像 MidJourney 这样的模型通常是不公开的,并且其界面主要是为图片处理而设计的,因此不适合用于这些动画技术。
这个动画可能使用 Stable WarpFusion 完成,涉及 I2I 循环以及一些扭曲(置换)动画的底层视频输入。作者——萨根斯。
它通常由这些技术混合并分层组成:
独立模式(从文本到图像):
有几种创新的技术,可以仅通过文本提示和参数设置来生成动画,具体包括:
参数插值(形态变化)
通过在每一帧生成的图像上逐步调整参数,从而实现动画中的形态变化。这些参数可以涉及模型的各个方面,比如文本提示本身,或是底层的种子变量(称为“潜在空间漫游”)。