RAG（检索增强生成）工作流搭建主要包括以下步骤： 1. 文档加载：从多种不同来源加载文档，如非结构化的数据（包括 PDF）、结构化的数据（如 SQL）以及代码（如 Python、Java 等）。LangChain 提供了 100 多种不同的文档加载器。 2. 文本分割：文本分割器把 Documents 切分为指定大小的块，称为“文档块”或者“文档片”。 3. 存储： 将切分好的文档块进行嵌入（Embedding）转换成向量的形式。 将 Embedding 后的向量数据存储到向量数据库。 4. 检索：通过某种检索算法找到与输入问题相似的嵌入片。 5. 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。 RAG 是一种结合了检索和生成的技术，其基本流程为：首先，给定用户输入（如问题或话题），从数据源中检索出相关文本片段作为上下文。然后，将用户输入和检索到的上下文拼接成完整输入，并添加提示传递给大模型（如 GPT）。最后，从大模型的输出中提取或格式化所需信息返回给用户。 您还可以通过以下资源进一步学习 RAG： 视频演示： Query 改写效果对比 Bot：https://www.coze.cn/store/bot/7400553639514800182?panel=1&bid=6dkplh1r43g15 视频演示： RAG 全流程学习 Bot：

RAG 技术路线知识库搭建流程主要包括以下步骤： 1. 文档加载：从多种不同来源加载文档，如 PDF 在内的非结构化数据、SQL 在内的结构化数据以及 Python、Java 之类的代码等。LangChain 提供了 100 多种不同的文档加载器。 2. 文本分割：文本分割器把 Documents 切分为指定大小的块，称为“文档块”或者“文档片”。 3. 存储： 将切分好的文档块进行嵌入转换成向量的形式。 将 Embedding 后的向量数据存储到向量数据库。 4. 检索：通过某种检索算法找到与输入问题相似的嵌入片。 5. 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。 在构建知识库的过程中，还涉及到文档解析环节，即将各种类型的资料（包括但不限于 Word、PDF、Excel 和图片等）转换成文字，为后续流程奠定基础。针对图片一般使用 OCR 图像识别技术，针对文档一般将其转换成 Markdown 格式。文档解析完成之后，要进行预处理。 基于 Coze 的知识库问答是典型的 RAG 方案，其重要一环是文档切片（Segment），但 RAG 方案存在一些缺点，如跨分片总结和推理能力弱、文档有序性被打破、表格解析失败等。

以下是关于模型的部署和容器化的相关信息： ComfyUI ollama 本地大模型部署： 1. 先下载 ollama 安装，安装完成后不会有任何界面弹出，可以在电脑桌面右下角或者隐藏图标里面找到。 2. 之后再去下载对应的模型，选择模型，复制对应的命令。 3. 打开命令行界面，输入对应的模型获取命令，等待下载完成。 4. 下载的模型会保存到 D:\\ollama\\blobs 目录。 5. Docker 安装时会下载一些文件，安装后改下目录，不要放在 C 盘。 6. Open webui 安装，输入相关命令，安装成功后，回到 docker，点击会自动打开网页，第一次使用需注册账号，选择下载好的模型即可开始使用。 7. 若出现端口占用问题，运行特定两条命令可以解决。 8. 相关链接： comfyuiollama：https://github.com/stavsap/comfyuiollama?tab=readmeovfile Ollama：https://ollama.com/ docker：https://www.docker.com/ Open webui：https://openwebui.com/ 模型部署： 1. 选择学习路径： 快速上手 使用 Anaconda： 第 0 步：确保安装了 Python 3.10 以上版本。 第 1 步：准备环境，如需设置环境，安装所需要的软件包，运行特定命令。 第 2 步：从以下来源下载 Atom7BChat 模型：。 第 3 步：进行推理，创建一个名为 quick_start.py 的文件，并将相关内容复制到该文件中，运行 quick_start.py 代码。 快速上手 使用 Docker：详情参见：，包括准备 docker 镜像，通过 docker 容器启动，通过 dockercompose 启动 chat_gradio。 快速上手 使用 llama.cpp：详情参见： 快速上手 使用 gradio：基于 gradio 搭建的问答界面，实现了流式的输出，将特定代码复制到控制台运行，不同模型只需修改 model_name_or_path 对应的模型名称。 ComfyUI FLUX 模型的安装部署： 1. 模型：FLUX.1、FLUX.1，建议选择 dev 版本的，显卡可以的用 fp16，显卡不够用的选 fp8。模型下载后，放入 ComfyUI/models/unet/文件夹中。若爆显存，“UNET 加载器”节点中的 weight_dtype 可设置为 fp8，降低显存使用量，但可能稍降质量。 2. clip：t5xxl_fp16.safetensors 和 clip_l.safetensors，放在 ComfyUI/models/clip/文件夹里面。可以使用 t5xxl_fp8_e4m3fn.safetensors 来降低内存使用率，若有超过 32GB 内存，建议使用 fp16。相关链接：https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main 3. Vae：下载后放入 ComfyUI/models/vae 文件夹。 4. T5（/t5xxl_fp16.safetensors）的这个 clip，原本有一个输入输出，可能会导致提示词被吞，短提示效果差，训练 flux 或者 sd3 时，应尽量用长提示词或自然语言。

RAG 与 Agent 的结合应用主要通过以下步骤实现： 1. 数据加载：根据数据源类型选择合适的数据加载器，如对于网页数据源可使用 WebBaseLoader 加载和解析网页，获取文档对象。 2. 文本分割：依据文本特点选用合适的文本分割器，将文档对象分割成较小的文档对象。例如，对于博客文章可用 RecursiveCharacterTextSplitter 递归分割。 3. 嵌入与存储：使用文本嵌入器将文档对象转换为嵌入，并存储到向量存储器中。可根据嵌入质量和速度选择，如 OpenAI 的嵌入模型和 Chroma 的向量存储器。 4. 创建检索器：通过向量存储器检索器，传递向量存储器对象和文本嵌入器对象作为参数，创建用于根据用户输入检索相关文档对象的检索器。 5. 创建聊天模型：根据模型性能和成本选择合适的聊天模型，如 OpenAI 的 GPT3 模型，用于根据用户输入和检索到的文档对象生成输出消息。 以餐饮生活助手为例，展示基于结构化数据的 RAG 实战： 1. 定义餐饮数据源：将餐饮数据集转化为 Langchain 可识别和操作的数据源，如数据库、文件、API 等，并注册到 Langchain 中，提供统一接口和方法供 LLM 代理访问和查询。 2. 定义 LLM 的代理：通过 Langchain 的代理（Agent）实现，提取用户问题的核心信息和条件，形成标准查询语句，检索餐饮数据源并生成合适答案输出给用户。代理管理器可定义不同的 LLM 代理及其功能逻辑，提供统一接口和方法方便用户交互。 以下是使用 LangChain 构建 RAG 应用的示例代码。

以下为您推荐一些短剧剪辑的 AI 工具： 1. Pika 2. Pixverse 3. Runway 4. SVD 在短剧剪辑过程中，您可以参考以下步骤和技巧： 1. 剧本写作： 可以从原创（直接经验），如自身或周围人的经历、做过的梦、想象的故事等入手，也可以通过改编（间接经验），如经典 IP、名著改编、新闻改编、二创等方式获取故事。 编剧是有一定门槛的手艺，不要单纯套剧作理论和模板，要多写多实践，多跟别人讨论故事。 对于短片创作，可以从自身或朋友的经历改编入手，或者对触动您的短篇故事进行改编。 2. 生图： 这次生图中，Midjourney 的语义理解有所提升。 解决人物和场景一致性问题，可采用生成动物或特定名人/有特殊属性人物的方式。 先确定影片风格和人物形象，如本次使用的皮克斯动画风格，以及扎马尾、穿白色 T 恤、牛仔裤的 14 岁女孩和戴眼镜、灰色头发、穿灰色短衬衫的 50 岁男人的角色设定。 3. 剪辑： 工具方面，剪映方便在于有人性化设计和简单音效库、小特效，但无法协同工作和导出工程文件，难以达到更好的商业化效果。 流程包括视频粗剪（先确定画面逻辑，声音作部分参考）、视频定剪（调整和替换画面素材）、音效/音乐（注意版权）、特效（如添加光影效果）、包装（如字幕，剪映可智能匹配字幕再修改）。 此外，还有一些编剧和剪辑相关的书籍推荐给您。

开源模型与闭源模型调用相关信息如下： 通义千问自 2023 年 8 月起密集推出 Qwen、Qwen1.5、Qwen2 三代开源模型，Qwen 系列的 72B、110B 模型多次登顶 HuggingFace 的 Open LLM Leaderboard 开源模型榜单。Qwen2 系列已上线魔搭社区 ModelScope 和阿里云百炼平台，开发者可在魔搭社区体验、下载模型，或通过阿里云百炼平台调用模型 API。同时，Qwen272binstruct 模型已上线中国大语言模型评测竞技场 Compass Arena，所有人都可登录体验其性能或进行对比测评，测评地址为：https://opencompass.org.cn/arena 。Compass Arena 是由上海人工智能实验室和魔搭社区联合推出的大模型测评平台，集齐了国内主流的 20 多款大模型。 部分声称性能卓越的中国大模型被揭露为“套壳”产品，如李开复创办的“零一万物”被国外开发者质疑为“套壳”产品，其团队承认在训练过程中沿用了开源架构。此外，字节跳动被曝出在其秘密研发的大模型项目中调用了 OpenAI 的 API，并使用 ChatGPT 的输出数据来训练自己的模型。 在 LLM 应用程序中，开发者通常使用 OpenAI API 启动新的 LLM 应用，如 gpt4 或 gpt432k 模型。当项目投入生产并规模化时，常见的选择包括切换到更便宜且速度更快的 gpt3.5turbo，与其他专有供应商（如 Anthropic 的 Claude 模型）进行实验，将一些请求分流到开源模型等。开源模型有多种推理选项，包括 Hugging Face 和 Replicate 的简单 API 接口、主要云提供商的原始计算资源等。

AI 可以帮助写论文。在论文写作领域，AI 技术的应用发展迅速，能提供多方面的辅助，包括文献搜索、内容生成、语言润色、数据分析、论文结构和格式处理以及研究伦理和抄袭检测等。以下是一些常用的 AI 工具和平台： 1. 文献管理和搜索： Zotero：结合 AI 技术，可自动提取文献信息，助于管理和整理参考文献。 Semantic Scholar：由 AI 驱动的学术搜索引擎，能提供文献推荐和引用分析。 2. 内容生成和辅助写作： Grammarly：通过 AI 技术提供文本校对、语法修正和写作风格建议，提高语言质量。 Quillbot：基于 AI 的重写和摘要工具，可精简和优化论文内容。 3. 研究和数据分析： Google Colab：提供基于云的 Jupyter 笔记本环境，支持 AI 和机器学习研究，便于数据分析和可视化。 Knitro：用于数学建模和优化的软件，可进行复杂的数据分析和模型构建。 4. 论文结构和格式： LaTeX：结合自动化和模板，高效处理论文格式和数学公式。 Overleaf：在线 LaTeX 编辑器，有丰富模板库和协作功能，简化编写过程。 5. 研究伦理和抄袭检测： Turnitin：广泛使用的抄袭检测工具，确保论文原创性。 Crossref Similarity Check：通过与已发表作品比较，检测潜在抄袭问题。 利用 AI 写课题可按以下步骤和建议进行： 1. 确定课题主题：明确研究兴趣和目标，选有价值和创新性的主题。 2. 收集背景资料：用学术搜索引擎和文献管理软件等 AI 工具搜集相关文献和资料。 3. 分析和总结信息：利用 AI 文本分析工具提取关键信息和主要观点。 4. 生成大纲：用 AI 写作助手生成包括引言、文献综述、方法论、结果和讨论等部分的大纲。 5. 撰写文献综述：借助 AI 工具确保内容准确完整。 6. 构建方法论：根据需求，用 AI 建议的方法和技术设计研究方法。 7. 数据分析：若涉及数据收集和分析，使用 AI 数据分析工具处理和解释数据。 8. 撰写和编辑：用 AI 写作工具写各部分，并检查语法和风格。 9. 生成参考文献：用 AI 文献管理工具生成正确格式。 10. 审阅和修改：用 AI 审阅工具检查逻辑性和一致性，根据反馈修改。 11. 提交前的检查：用 AI 抄袭检测工具确保原创性，做最后的格式调整。 需要注意的是，AI 工具可辅助但不能完全替代研究者的专业判断和创造性思维，应保持批判性思维，确保研究质量和学术诚信。同时，如果担心 AI 削弱孩子思考力，正确的用法能助力拓展思维边界。比如将任务改为让孩子提交与 AI 共同完成作文的聊天记录，让孩子对 AI 作文进行点评批改、促使 AI 迭代出更好的文章，重点关注孩子在对话记录中能否说清 AI 作文的优缺点及如何修改。

RAG（检索增强生成）的经典应用场景主要包括以下方面： 1. 构建智能问答客服：用户提出问题，RAG 模型从大规模的文档集合中检索相关的文档，然后生成回答。 2. 知识问答系统：用户提出问题，RAG 可以从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到提示词中，提交给大模型，大模型的回答会充分考虑到“包含答案的内容”。

以下是关于 RAG、Agent 与小模型的相关知识： Agent： Agent 是大模型的一个热门概念，被认为是大模型未来的主要发展方向之一。 其本质是在大模型（如 LLM）基础上增加工具、记忆、行动、规划这四个能力。 目前行业里主要用到的是 langchain 框架，它把 LLM 和 LLM 之间以及 LLM 和工具之间通过代码或 prompt 的形式进行串接。 例如，长期记忆相当于给大模型一个数据库工具让其记录重要信息，规划和行动则是在大模型的 prompt 层做逻辑设计，如将目标拆解并输出不同的固定格式 action 指令给工具。 RAG： 向量相似性检索，可以放在 system prompt 里或通过 tools 触发检索。 当大模型应用于实际业务场景时，会存在知识局限性、幻觉问题、数据安全性等问题，RAG 是解决这些问题的有效方案。 它能让大模型从权威、预先确定的知识来源中检索和组织相关信息，更好地控制生成的文本输出，用户也能了解 LLM 生成最终结果的过程。 RAG 可与微调结合使用，RAG 类似于为模型提供教科书，适用于回答特定询问或解决特定信息检索任务，不适合教模型理解广泛领域或学习新的语言、格式或样式。 小模型：文中未提及小模型的相关具体内容。

人工智能作为一个领域始于二十世纪中叶。最初，符号推理流行，带来了如专家系统等重要进展，但因方法无法大规模拓展应用场景，且从专家提取知识并保持知识库准确成本高，20 世纪 70 年代出现“人工智能寒冬”。 随着时间推移，计算资源便宜、数据增多，神经网络方法在计算机视觉、语音理解等领域展现卓越性能，过去十年中“人工智能”常被视为“神经网络”同义词。 以国际象棋计算机对弈程序为例，早期以搜索为基础，发展出阿尔法贝塔剪枝搜索算法，搜索策略在对局结束时效果好，开始时因搜索空间大需学习人类对局改进算法，后续采用基于案例的推理，现代能战胜人类棋手的程序基于神经网络和强化学习。 创建“会说话的程序”方法也在变化，早期如 Eliza 基于简单语法规则，现代助手如 Cortana、Siri 或谷歌助手是混合系统，使用神经网络转换语音、识别意图，未来有望出现完整基于神经网络的独立处理对话模型，如 GPT 和 TuringNLG 系列神经网络已取得巨大成功。 最初查尔斯·巴贝奇发明计算机用于按明确程序运算，现代计算机仍遵循相同理念。但有些任务如根据照片判断年龄无法明确编程，因不知大脑完成任务的具体步骤，这类任务是人工智能感兴趣的。 译者：Miranda，原文见 https://microsoft.github.io/AIForBeginners/lessons/1Intro/README.md 。 您还可以思考如果人工智能得以实现，哪些任务可以交给计算机完成，比如金融、医学和艺术领域如今如何从人工智能中受益。