把多媒体交互技术分类细一点

目前模型的分类方式多种多样，以下为您介绍几种常见的分类角度： 1. 从来源角度：根据模型的出处，可分为来自行业（如 Google、Meta、OpenAI 等公司）、学术界（如清华大学、麻省理工学院、牛津大学等）、政府（如英国的艾伦·图灵研究所、阿布扎比的技术创新研究所等）以及研究团体（如艾伦研究所、弗劳恩霍夫研究所等非营利性 AI 研究组织）。在 2014 年之前，学术界在发布机器学习模型方面领先，此后行业占据主导。 2. 从整体架构角度： 基础层：为大模型提供硬件支撑和数据支持，例如 A100、数据服务器等。 数据层：包括企业根据自身特性维护的静态知识库和动态的三方数据集，而非用于基层模型训练的数据基集。 模型层：分为 LLm（如 GPT 等大语言模型，一般使用 transformer 算法实现）和多模态模型（如文生图、图生图等模型，训练数据为图文或声音等多模态数据集）。 平台层：如大模型的评测体系或 langchain 平台等，是模型与应用之间的组成部分。 表现层：即应用层，是用户实际看到的部分。 此外，像 OpenAI o3mini 模型，在 OpenAI 的准备框架中被分类为中等风险，并采取了相应的保障和安全缓解措施。

目前，AI 产品基于技术类别可以进行如下分类： 1. 从生成方式分类： 文生视频、图生视频：如 Runway、Pika labs、SD+Deforum、SD+Infinite zoom、SD+AnimateDiff、Warpfusion、Stability Animation 等。 视频生视频： 逐帧生成：如 SD+Mov2Mov。 关键帧+补帧：如 SD+Ebsynth、Rerender A Video。 动态捕捉：如 Deep motion、Move AI、Wonder Dynamics。 视频修复：如 Topaz Video AI。 AI Avatar+语音生成：如 Synthesia、HeyGen AI、DID。 长视频生短视频：如 Opus Clip。 脚本生成+视频匹配：如 Invideo AI。 剧情生成：如 Showrunner AI。 2. 从产品阶段和可用维度分类： 以 AI 为底层设计逻辑的 AI 原生类产品。 在原有互联网产品上深度嵌入 AI 功能的 AI+X 产品，目前整体数据表现显著优于 AI 原生类产品，在办公软件和内容平台重点布局。办公软件方面，如百度文库和 WPS AI 等在续写、改写、命题写作等不同程度的 AI 写作功能，以及针对论文、小说等不同题材的 AI 总结功能上表现突出。内容平台方面，AIGC 大多从基于平台内容的 AI 搜索、用于带动 UGC 的 AI 生成功能及模板、降低门槛的内容创作工具三个方向发力。 基于外接 API 微创新的套壳类产品。 将多个产品/模型 API 集中拼凑的集合站类产品。 此外，从 AI 产品经理的角度，个人划分仅供娱乐和参考： 1. 入门级：能通过 WaytoAGI 等开源网站或一些课程了解 AI 概念，使用 AI 产品并尝试动手实践应用搭建。 2. 研究级：有技术研究和商业化研究两个路径，能根据需求场景选择解决方案，或利用 Hugging face 等工具手搓出一些 AI 应用来验证想法。 3. 落地应用级：有成功落地应用的案例，产生商业化价值。对应传统互联网 PM 也有三个层级： 负责功能模块与执行细节。 负责整体系统与产品架构。 熟悉行业竞争格局与商业运营策略。

以下是对 AI 模型基于应用场景的分类： 1. 文本生成和内容创作：包括撰写文章、生成新闻报道、创作诗歌和故事等。 2. 聊天机器人和虚拟助手：提供客户服务、日常任务提醒和信息咨询等服务。 3. 编程和代码辅助：如代码自动补全、bug 修复和代码解释。 4. 翻译和跨语言通信：促进不同语言背景的用户之间的沟通和信息共享。 5. 情感分析和意见挖掘：为市场研究和产品改进提供数据支持。 6. 教育和学习辅助：创建个性化的学习材料、自动回答学生问题和提供语言学习支持。 7. 图像和视频生成：如根据文本描述生成相应的图像，甚至未来可能扩展到视频内容的生成。 8. 游戏开发和互动体验：创建游戏中的角色对话、故事情节生成和增强玩家的沉浸式体验。 9. 医疗和健康咨询：理解和回答医疗相关的问题，提供初步的健康建议和医疗信息查询服务。 10. 法律和合规咨询：帮助解读法律文件，提供合规建议。 此外，在开源模型方面，如 Civitai、海艺 AI、liblib 等为主流创作社区，提供了让用户利用 AI 技术进行图像创作和分享的平台。AI 视频方面，其应用场景广泛，涵盖内容创建、社交媒体营销、讲故事与动画制作、个性化内容、视频摘要、电子学习和培训、新闻媒体、电子游戏开发、虚拟助理和聊天机器人、归档与文档保存以及提高内容的可访问性等多个领域。从使用场景来看，分为改善大模型产品的使用体验、助力用户工作流、细分场景独立实用工具、AI 社区、Chatbot 五个方向；从产品形态上来看，分为插件、辅助现有产品能力、深度结合 LLM 能力的独立网站&应用、AI 社区四种。目前产品大多分布在 PC 端。

基于深度学习的商代食器分类研究具有多方面的重要意义。首先，它有助于深入了解商代的饮食文化和社会生活。通过对食器的准确分类，可以揭示当时人们的饮食习惯、烹饪方式以及社交礼仪等方面的信息。 其次，为考古学研究提供新的方法和视角。利用深度学习技术能够更高效、更准确地处理和分析大量的商代食器数据，突破传统研究方法的局限。 再者，有助于文物保护和管理。精确的分类有助于制定更有针对性的保护策略，确保这些珍贵的文化遗产得到妥善保存。 最后，促进跨学科研究的发展。将深度学习与考古学相结合，能够吸引更多不同领域的学者参与，推动相关研究的创新和进步。

AI 主要有以下分类： 1. 生成式 AI： 生产力方面：包括文档、PPT、会议、脑爆、数据处理、搜索、浏览、email、文件等。 社交方面：包括真实和虚拟社交。 教育方面：涵盖早教、语言学习、公司教育、父母教育、学生工具、学校工具等。 创意内容方面：包含视频、音乐、声音、个人图像、图像等。 2. 以生成方式划分： 音视频生成类： 视频生成：当前视频生成可分为文生视频、图生视频与视频生视频。主流生成模型为扩散模型，可用于娱乐、体育分析和自动驾驶等领域，经常与语音生成一起使用。 语音生成：用于文本到语音的转换、虚拟助手和语音克隆等，模型可由 Transformers 提供。 音频生成：用于生成音乐、语音或其他声音，常用技术包括循环神经网络、长短时记忆网络、WaveNet 等。 一些具有代表性的海外项目： Sora（OpenAI）：以扩散 Transformer 模型为核心，能生成长达一分钟的高保真视频，支持多种生成方式，在文本理解方面表现出色。 Genie（Google）：采用 STtransformer 架构，包括潜在动作模型、视频分词器与动力学模型，拥有 110 亿参数。 WaveNet（DeepMind）：一种生成模型，可以生成非常逼真的人类语音。 MuseNet（OpenAI）：一种生成音乐的 AI 模型，可以在多种风格和乐器之间进行组合。 Multilingual v2（ElevenLabs）：一种语音生成模型，支持 28 种语言的语音合成服务。 3. 在 AI 创客松中，参与同学的分类： 秦超：AI 2C 项目负责人，擅长产品落地服务，具有产品、技术架构和项目管理经验。 kaikai：技术实践者，擅长多 Agent 处理任务流，具备技术实践和团队合作能力。 Cici?：AI 算法开发，想法是宠物与 AI 结合，具有 AI 产品研发和创业经验。 BIN 陈裕彬：CTO，方向是 AI 绘画精灵、AI 推文小说视频生成器，是爆款 AI 小程序作者。 11 鸭鸭呀：产品经理，专注智能写作产品，擅长 Prompt 撰写和 AI 应用。 zz：AI 产品经理，方向是效率工具和游戏，具有大厂经验。 天天向上：AIGC 爱好者，方向是 AI 配音应用，是配音演员，有 AI 预告片制作经验。 烦烦烦??：产品经理，方向是企业服务 AI 应用，具备 PRD 输出和前端开发能力。 周文斌：产品业务负责人，方向是 AI 创业，具有产品规划和研发经验。 Wilson·W：咨询顾问/服务设计师，方向是 AI 组团协作场景，是 GPT4.0 用户，有咨询行业经验。 王蒙：程序员，从事 AI 相关开发，具有后端开发经验。 Nero：产品体验设计师，方向是 AI 绘画、AI 视频，研究 AIGC 方向。

以下是 AI 模型和机器学习的分类： 1. AI（人工智能）：是一个广泛的概念，旨在使计算机系统能够模拟人类智能。 2. 机器学习：是人工智能的一个子领域，让计算机通过数据学习来提高性能。包括以下几种类型： 监督学习：使用有标签的训练数据，算法学习输入和输出之间的映射关系，包括分类和回归任务。 无监督学习：学习的数据没有标签，算法自主发现规律，经典任务如聚类。 强化学习：从反馈中学习，以最大化奖励或最小化损失，类似训练小狗。 3. 深度学习：是机器学习的一个子领域，模拟人脑创建人工神经网络处理数据，包含多个处理层，在图像识别、语音识别和自然语言处理等任务中表现出色。 4. 大语言模型：是深度学习在自然语言处理领域的应用，目标是理解和生成人类语言，如 ChatGPT、文心一言等。同时具有生成式 AI 的特点，能够生成文本、图像、音频和视频等内容。 2017 年 6 月，谷歌团队发表论文《Attention is All You Need》，首次提出了 Transformer 模型，它基于自注意力机制处理序列数据，不依赖循环神经网络或卷积神经网络。生成式 AI 生成的内容称为 AIGC。

对于普通人学习 AI 自动化，Make 和 Coze 哪个更适合的问题，以下是一些相关信息供您参考： Make 对于编程小白比较友好，其思考过程较长，有助于学习，但不太适合专业选手，因为思考过程较慢，可能会让人有点不耐烦。Make 具有国内版优势，包括深度理解中国开发场景和技术生态、完全免费、无需翻墙、流畅稳定，还具备完整的 IDE 功能（代码编写、项目管理、插件管理、源代码管理等）。您可以通过进行尝试。 Coze 是一款 AI Agent 的衍生产品，其价值在于可以跟进当前 AI Agent 工具的发展情况，发现商业化机会，还能用于做产品 Demo。在学习新知识如 RAG 时，可以先通过 Claude 了解细节概念，再通过 Coze 搭建 Demo 进行实践。在学习 RAG 过程中，还可以利用 Coze 的知识库能力创建如产品资料问答机器人等 Bot。 总的来说，如果您是编程小白，Make 可能更适合；如果您希望跟进 AI 工具发展并进行实践操作，Coze 可能更符合您的需求。但最终的选择还需根据您的具体学习目标和个人偏好来决定。

以下是为您制定的学习 SD AI 绘图的详细计划及相关学习资源： 学习计划： 1. 首先，深入学习 Stable Diffusion 的核心基础原理，包括模型工作流程、核心基础原理、训练全过程以及其他主流生成式模型介绍。 2. 接着，掌握 Stable Diffusion 的核心网络结构，如 SD 模型整体架构、VAE 模型、UNet 模型、CLIP Text Encoder 模型等。 3. 学习从 0 到 1 搭建使用 Stable Diffusion 模型进行 AI 绘画的不同方式，如使用 ComfyUI、SD.Next、Stable Diffusion WebUI、diffusers 搭建推理流程，并查看生成示例。 4. 了解 Stable Diffusion 的经典应用场景，如文本生成图像、图片生成图片、图像 inpainting、使用 controlnet 辅助生成图片、超分辨率重建等。 5. 最后，尝试从 0 到 1 上手使用 Stable Diffusion 训练自己的 AI 绘画模型，包括配置训练环境与训练文件，以及基于 Stable Diffusion 训练 LoRA 模型。 学习资源： 1. 教程：深入浅出完整解析 Stable Diffusion（SD）核心基础知识 知乎。 目录涵盖了 Stable Diffusion 系列的各个方面，包括核心基础知识、网络结构解析、搭建推理流程、应用场景和模型训练等。 2. SD 模型权重百度云网盘： 关注 Rocky 的公众号 WeThinkIn，后台回复：SD 模型，即可获得资源链接，包含多种模型权重。 3. SD 保姆级训练资源百度云网盘： 关注 Rocky 的公众号 WeThinkIn，后台回复：SDTrain，即可获得资源链接，包含数据处理、模型微调训练以及基于 SD 的 LoRA 模型训练代码全套资源。 4. Stable Diffusion 中 VAE，UNet 和 CLIP 三大模型的可视化网络结构图下载： 关注 Rocky 的公众号 WeThinkIn，后台回复：SD 网络结构，即可获得网络结构图资源链接。

以下是一些针对编程的免费的 AI 工具： 1. GitHub Copilot：由 GitHub 联合 OpenAI 和微软 Azure 团队推出，支持多种语言和 IDE，能为程序员快速提供代码建议，助其更高效、更少错误地编写代码。 2. 通义灵码：阿里巴巴团队推出，基于通义大模型，具备行级/函数级实时续写、自然语言生成代码、单元测试生成、代码注释生成、代码解释、研发智能问答、异常报错排查等能力。 3. CodeWhisperer：亚马逊 AWS 团队推出，由机器学习技术驱动，可为开发人员实时提供代码建议。 4. CodeGeeX：智谱 AI 推出的开源免费 AI 编程助手，基于 130 亿参数的预训练大模型，能快速生成代码，提升开发效率。 5. Cody：代码搜索平台 Sourcegraph 推出，借助强大的代码语义索引和分析能力，了解开发者的整个代码库。 6. CodeFuse：蚂蚁集团支付宝团队为国内开发者提供智能研发服务的免费 AI 代码助手，基于蚂蚁集团自研的基础大模型微调的代码大模型。 7. Codeium：一个由 AI 驱动的编程助手工具，通过提供代码建议、重构提示和代码解释来帮助软件开发人员，提高编程效率和准确性。 此外，字节的 Trae 也是一款不错的 AI 编程工具，具有以下特点： 全中文界面，跨平台支持，操作界面简洁直观，即使是技术小白也能快速上手。 内置 Claude3.5 和 GPT4o 两大顶尖 AI 模型，完全免费且不限使用次数。 零门槛智能开发，不懂编程也能通过中文对话让 AI 生成所需代码，系统还能自动识别和解决代码错误。 更多辅助编程 AI 产品，还可以查看这里：https://www.waytoagi.com/category/65 。每个工具的功能和适用场景可能会有所不同，您可以根据自己的需求来选择最适合您的工具。

以下是关于学习 AI&LLM 的相关知识： 一、AI 相关概念与技术 1. 概念 生成式 AI 生成的内容称为 AIGC。 AI 即人工智能。 2. 机器学习 电脑通过找规律进行学习，包括监督学习、无监督学习、强化学习。 监督学习：使用有标签的训练数据，算法目标是学习输入和输出之间的映射关系，包括分类和回归。 无监督学习：学习的数据没有标签，算法自主发现规律，经典任务如聚类。 强化学习：从反馈中学习，以最大化奖励或最小化损失，类似训小狗。 3. 深度学习 一种参照人脑神经网络和神经元的方法（因有很多层所以叫深度）。 神经网络可用于监督学习、无监督学习、强化学习。 4. 生成式 AI 可以生成文本、图片、音频、视频等内容形式。 5. LLM（大语言模型） 对于生成式 AI，生成图像的扩散模型不是大语言模型。 对于大语言模型，生成只是其中一个处理任务，如谷歌的 BERT 模型，可用于语义理解（不擅长文本生成），如上下文理解、情感分析、文本分类。 二、技术里程碑 2017 年 6 月，谷歌团队发表论文《Attention is All You Need》，首次提出了 Transformer 模型，它完全基于自注意力机制（SelfAttention）来处理序列数据，而不需要依赖于循环神经网络（RNN）或卷积神经网络（CNN）。 三、RL 与 LLM 融合的本质与阐释 AI 本质是一堆 scaling law。今天能看到最好的模型规模在 10 的 25 到 26 次方 FLOPs 这种规模，且数量级还会持续增长，算力是必要条件。一个值得被 scale up 的架构是基础，要支持不断加入更多数据。现在“吃”的是 base model 的 scaling law，未来可能会“吃”用户数据源的 scaling law。alignment 也有 scaling law，只要能找到对的数据就能解决。当 next token prediction 足够好时，能够平衡创造性和事实性。多模态数据的引入可推迟数据瓶颈问题，如视频和多模态的卡点解决不了，文本的数据瓶颈就会很关键。在限定问题（如数学或写代码）上，数据相对好生成，通用问题还没有完全的解法，但有探索方向。统计模型没有问题。

以下是为您提供的一些生成小红书的 AI 提示词示例： 1. 五津:DeepSeek+扣子：1 分钟生成小红书爆款单词视频 角色：您是一个专业的单词生成助手，擅长围绕各种主题挖掘相关英语单词，为用户提供精准且实用的单词、中文、美式音标内容。 技能：当用户输入主题{{zhuti}}时，分析主题内涵，运用专业知识，输出{{shuliang}}个与该主题紧密关联的英语单词、中文翻译、美式音标，将该单词用于一句英文中（不超过 15 个单词），并将这句英文句子翻译成中文句子，并以数组形式呈现。 限制：仅围绕用户输入主题输出相关英语单词、中文翻译、美式音标，不涉及其他领域内容。输出必须为符合要求的数组形式，英文单词对应变量 yingwen，中文翻译对应变量 zhongwen，美式音标对应变量 yinbiao，英文句子对应变量 juzi_yingwen，中文句子翻译对应变量 juzi_zhongwen，不得有其他格式偏差。 2. 夙愿：用 AI 化繁为简，解决复杂问题的指南 提示词链：一个月前，通过逐步构建和不断优化提示词，最终迭代出一个小红书视频标题生成助手。收集高质量的标题示例作为后续分析的基础（纯人类），询问 GPT 分析标题特点的维度（人机协同），让 GPT 根据这些维度分析标题特点（人机协同），编写提示词（纯人类），测试提示词（人机协同），迭代提示词（人机协同）。 3. 一泽 Eze：样例驱动的渐进式引导法——利用 AI 高效设计提示词，生成预期内容 引言：一个精彩的 Prompt 是驱动 AI Agent 稳定运作的核心。例如常见的“小红书爆文生成 AI”提示词，包含精确、巧妙的提示。高质量的 Prompt 极度依赖用户通过逻辑思考，从知识经验中抽象表达出关键方法与要求。

以下是为您提供的与 AI 工作流相关的飞书文章链接： 1. 《》 2. 《》 3. 《》 4.