在 AI 领域,将 2D 转换为 3D 主要有以下内容:
- 多模态模型算法方面:3D 模型、图像和视频可能融合成统一模态。从一个截面观察杯子移动可能是内容维度变化形成空间维度变化,视频编辑与 3D 模型空间变化相似,未来这三种模态可能融合,既能够生成视频,也可以生成 3D。目前 3D 生成的主流技术路线是原生 3D 和 2D 升维,原生 3D 使用 3D 数据集训练,2D 升维从二维图像出发通过创建深度图等步骤转换为 3D。
- 关于 2D 和 3D 角色:在不跑真人,跑 2D 和 3D 角色时会有较好效果,如 Niji 6 + cref + sref 的组合在保持角色一致性方面表现出色。
- 图片生成 3D 建模工具:包括 Tripo AI、Meshy、CSM AI、Sudo AI、VoxCraft 等。Tripo AI 能利用文本或图像在几秒钟内生成高质量 3D 模型;Meshy 支持文本和图片生成 3D 及 AI 材质生成;CSM 支持从视频和图像创建 3D 模型;Sudo AI 支持通过文本和图像生成 3D 模型,适用于游戏领域;VoxCraft 能将图像或文本快速转换成 3D 模型,并提供多种相关功能。