多模态的AI工具有哪些

|技术名称|应用场景|技术类型|简介|主要特点|工作原理|其他|官方网站|项目及演示|论文|Github|在线体验|附件|最后更新时间||-|-|-|-|-|-|-|-|-|-|-|-|-|-||GPT-4V-Act：一个多模态AI助手，能够像人类一样模拟通过鼠标和键盘进行网页浏览。|基于AI的能力+项目目标人群+服务内容类型=以后互联网项目产品的原型设计自动化生成的效果会更符合用户使用习惯，同时以后广告位的出现的位置和时机，频率也更有效果。|AI学习模型|它可以模拟人类浏览网页时的行为，如点击链接、填写表单、滚动页面等。<br>它通过视觉理解技术识别网页上的元素，就像人眼一样，能够“看到”按钮、文本框、图片等，并理解它们的功能和用途。<br>这个工具的目的是让AI能够自动完成一些需要人工操作的任务，从而提高工作效率，帮助人们更容易地使用各种网页界面。|主要特点：<br>1、视觉处理：能够处理视觉信息，但支持程度有限。<br>2、自动标记：使用JS DOM自动标记器为UI元素分配数字ID，支持COCO数据格式的导出。<br>3、鼠标和键盘操作：能够执行点击和输入字符操作。<br>4、特殊键码输入：目前还不支持输入特殊键码（如回车、页面上移、页面下移）。<br>5、其他功能：滚动、提示用户提供更多信息、记住与任务相关的信息等功能也尚未支持。|工作原理：<br>GPT

自2021年以来，AI领域的一个重要焦点是能够解释人类指令的生成式语言和视觉模型，即多模态模型。例如，CLIP[18]是一种开创性的视觉-语言模型，它将变压器架构与视觉元素相结合，使其能够在大量的文本和图像数据集上进行训练。通过从一开始就整合视觉和语言知识，CLIP可以在多模态生成框架中充当图像编码器。另一个值得注意的例子是Stable Diffusion[19]，这是一个多才多艺的文本到图像AI模型，以其适应性和易用性而受到赞誉。它采用变压器架构和潜在扩散技术来解码文本输入，并生成各种风格的图像，进一步展示了多模态AI的进步。随着2022年11月ChatGPT的发布，我们在2023年见证了商业文本到图像产品的出现，如Stable Diffusion[19]、Midjourney[20]、DALL-E 3[21]。这些工具使用户能够用简单的文本提示生成高分辨率和高质量的新图像，展示了AI在创意图像生成方面的潜力。然而，从文本到图像过渡到文本到视频由于视频的时间复杂性而具有挑战性。尽管工业界和学术界做出了许多努力，但大多数现有的视频生成工具，如Pika[22]和Gen-2[23]，仅限于生成几秒钟的短视频片段。在这种背景下，Sora代表了一个重大突破，类似于ChatGPT在NLP领域的影响。Sora是第一个能够根据人类指令生成长达一分钟的视频的模型，标志着对生成式AI研究和开发产生深远影响的里程碑。为了便于轻松访问最新的视觉生成模型进展，最新的作品已被汇编并提供在附录和我们的GitHub中。

如果说Diffusion Model是画家，NeRF是建筑师，3DGS是雕塑家，那么DiT就像是电影导演。它将视频分解成一帧帧图像，然后逐帧去噪，从而生成流畅和连贯的视频。DiT在视频表达上的优势不仅在于生成逐帧的高质量的图像，更重要的是它能在时间维度上保持一致性。通俗地说，DiT不仅负责拍好“每一张照片”，还负责把“照片”串成流畅的视频，从而避免传统视频生成算法中容易出现的画面跳动问题。多模态的无限可能在这些解构与重构技术的支持下，AI正在向多模态灵活转换的方向迈进。未来的多模态生成技术不仅可以将文本转换成图像、将图像转换成文字，还可以实现更多模态之间的无缝衔接。需要强调的是，“模态”这一概念不仅限于前述的几种类型或格式，还可以进一步扩展。例如，AlphaFold 3能够生成蛋白质的三维结构，Notebook LLM将文档转换为两人对话形式的播客，这些都属于模态转换的范畴。多模态在医疗保健、交通、教育、营销和娱乐等领域具有广泛的应用前景。例如，在医疗领域，AI可以结合医学图像、临床记录和实验室测试结果，提供更准确的诊断和治疗建议。在营销领域，峰瑞资本投资的特看科技面向海外市场推出Topview.ai，这是一款多模态转换工具。作为AI驱动的营销视频生成工具，它可以自动实现模态转换，帮助社交媒体达人将输入的提示词或者商品详情页链接等素材，一键转换为爆款商业短视频。Topview.ai利用AI分析热门营销视频的脚本和画面，解构其结构和模式。通过将这些数据输入大型语言模型和多模态模型进行微调，形成一个简便易用的AI视频生成工具。