Luma Dream machine

以下是一些可替代 Adobe Dreamweaver 的 AI 工具： 图像生成方面： 最透明的选项：Adobe Firefly（https://www.adobe.com/sensei/generativeai/firefly.html） 开源选项：Stable Diffusion（https://stablediffusionui.github.io/） 最佳免费选项：Bing 或 Bing Image Creator（https://www.bing.com/images/create）（使用 DALLE），Playground（https://playgroundai.com/）（允许您使用多个模型） 最佳质量图像：MidJourney（https://midjourney.com/） CAD 图绘制方面： CADtools 12：Adobe Illustrator（AI）插件，为 AI 添加 92 个绘图和编辑工具。 Autodesk Fusion 360：集成了 AI 功能的云端 3D CAD/CAM 软件。 nTopology：基于 AI 的设计软件，可创建复杂的 CAD 模型。 ParaMatters CogniCAD：基于 AI 的 CAD 软件，可根据设计目标和约束条件自动生成 3D 模型。 一些主流 CAD 软件，如 Autodesk 系列、SolidWorks 等提供的基于 AI 的生成设计工具。 在音乐生成方面，相关的平台和工具包括： UDIO.com：目前最先进的 AI 音乐生成平台之一，音质优异，功能全面，但有一定技术门槛。 SUNO.ai：用户数量众多、操作方便，支持多语言，能一次生成完整曲长的音乐，但音质相对较差。 Ripx Daw Pro：独特的 DAW 软件，可对混合音频进行分轨并进行钢琴卷帘形式的修改操作。 Adobe Audition：由 Adobe 出品的数字音频编辑软件，操作直观，具备多种音频处理功能。

Dreambooth 是 Google 开发的一种系统，用于训练模型识别用户提交的主题，并将其应用到提示的上下文中（例如在艾菲尔铁塔下微笑）。其官方 Github 的 Readme 文档上有着非常详细的文字说明与视频教程，是学习 Dreambooth 炼丹的最佳资料之一，讲解了包括训练集训练轮数 Epochs、同时处理的图片数 Batch Size、学习率 Learning Rate 等核心超参数在内的各种参数设置与调整建议。 在相关教程中，对 Batching 批处理进行了研究，全文逾万字，主要探讨了训练集训练轮数 Epochs、同时进行训练的图像数 Batch size、学习率 Learning rate 等重要超参数。 此外，还有一些里程碑式的研究成果与 Dreambooth 相关，如： （2021）：介绍了基础模型 CLIP，将文本描述与图像联系起来，是计算机视觉中首次有效的大规模使用基础模型。 （2021）：介绍了 DALLE，将 CLIP 和 GPT3 结合起来，根据文本提示自动生成图像，其后继者 DALLE 2 在 2022 年引发了基于图像的生成式 AI 热潮。 （2021）：描述稳定扩散的论文。 （2022 年）：Imagen 是 Google 进入 AI 图像生成领域的尝试。 （2022）：DreamBooth 用于训练模型识别用户提交的主题，并应用到提示的上下文中。 Dreambooth 官方文档未解读完的部分将在下一篇文章更新，更多细节讨论也可以加入 Stable Diffusion 炼丹阁和道友们一起交流。

以下是关于 Dreamface 数字人的相关信息： 生成数字人： 在剪映右侧窗口顶部打开“数字人”选项，选取免费且适合的数字人形象，如“婉婉青春”。选择后软件会播放其声音，可判断是否需要，点击右下角“添加数字人”将其添加到当前视频中，软件会生成对应音视频并添加到轨道中，左下角会提示渲染完成时间，可点击预览查看效果。 增加背景图片： 可删除先前导入的文本内容，为视频增加背景图片。点击左上角“媒体”菜单并“导入”选择本地图片上传，将图片添加到视频轨道上（会覆盖数字人），将轨道右侧竖线向右拖拽使其与视频对齐，选中轨道后可调整图片尺寸和数字人位置。 虚拟数字人的分类和驱动方式： 虚拟数字人通过各种技术创造，具有人类特征，呈现为虚拟形象。从驱动层面分为中之人驱动和 AI 驱动。中之人驱动运用动作捕捉和面部捕捉技术实现交互，有上限且缺乏高并发和量产化能力；AI 驱动使用 AI 技术创建、驱动和生成内容，赋予感知和表达等交互能力。从应用层面可分为服务型、表演型和身份型。服务型如虚拟主播、助手、教师、客服和医生等，表演型如虚拟偶像，身份型是物理世界“真人”的数字分身。 构建高质量 AI 数字人的要点： 1. AI Agent：要让数字人像人一样思考需编写类似人的 Agent，记忆模块、工作流模块和工具调用模块的构建是挑战。 2. 驱动躯壳的实现：定义灵魂部分接口，躯壳通过 API 调用，方式视躯壳实现而定。包含情绪的语音表达及保证躯壳口型、表情、动作和语音的同步及匹配，目前主流方案只能预设表情动作和做逻辑判断播放预设，语音驱动口型相对成熟但闭源。 3. 实时性：数字人算法组成庞大，几乎不能单机部署，算法一般部署到额外集群或调用 API，网络耗时和模型推理耗时会影响体验，低延时是需解决的问题。 4. 多元跨模态：仅语音交互不够，可根据需求添加其他感官，如通过摄像头数据获取视觉信息并做图像解析。 5. 拟人化场景：正常与人交流非线性，插话、转移话题等情况需通过工程丝滑处理。

以下是关于 Luma 的教程信息： 网址：https://lumalabs.ai/dreammachine/creations 知识库详细教程： 简单介绍：支持文生视频、图生视频，支持图生视频首尾帧功能，默认生成视频时长为 5s，支持视频延长。 相关界面截图：（未提供）