Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

类似于ollama和vllm这样的LLM 框架有哪些

Answer

以下是类似于 ollama 和 vllm 的 LLM 框架：

  1. Encoder-only 框架（也叫 Auto-Encoder），典型代表如 BERT 等。
  2. Encoder-decoder 框架，典型代表如 T5 和 GLM 等。
  3. Decoder-only 框架（也叫 Auto-Regressive），典型代表如 GPT 系列、LLaMa、PaLM 等。

此外，还有一些在 LLM 应用中发挥重要作用的框架，如：

  1. LangChain：是当前大模型应用开发的主流框架之一，提供了一系列工具和接口，其核心在于“链”概念，包括 Model I/O、Retrieval、Chains、Agents、Memory 和 Callbacks 等组件，生态系统还包括 LangSmith、LangGraph 和 LangServe 等工具。
  2. LlamaIndex：在促进 LLM 和整合上下文数据方面表现出色，抽象出许多提示链的细节，与外部 API 的接口，从向量数据库检索上下文数据，并在多个 LLM 调用中维持内存。
Content generated by AI large model, please carefully verify (powered by aily)

References

（2）初探LLM基座模型

对NLP有了基本认知后，下面祭出一个广为流传的图，这张图信息量比较大，其中最重要的观察就是分成了三支明显分叉，从左到右分别是粉色分支，Encoder-only框架(也叫Auto-Encoder)，典型代表如BERT等绿色分支，Encoder-decoder框架，典型代表如T5和GLM等蓝色分支，Decoder-only框架(也叫Auto-Regressive)，典型代表如GPT系列/LLaMa/PaLM等Harnessing the Power of LLMs in Practice刚听这三种框架名称可能会有点懵逼，不用担心，先感性认识一下。如下所示横轴代表了输入token，纵轴代表相对应每个位置的输出token左图为encoder-only，输出token都能看到所有输入token。例如$$y_1$$这一行可以看到$$x_1\sim x_5$$输入中图为decoder-only，输出token只能看到历史的输入token。例如$$y_3$$这一行只能看到$$x_1\sim x_3$$输入，$$x_4$$和$$x_5$$并不能看到右图为encoder-decoder，前k个输出token可以看到所有k个输入token，从k+1的输出token开始只能看到历史的输入token。例如$$y_1$$能看到$$x_1\sim x_3$$输入($$y_3$$也可以)，而$$y_4$$开始只能看到$$x_1\sim x_4$$输入PS:这里为了方便理解，encoder-decoder简化使用causal with prefix示意，具体详见encoder-decoder章节

LLM 应用程序的新兴架构

促进LLM和整合上下文数据的策略正变得越来越复杂，并且作为产品差异化的来源越来越重要。大多数开发人员通过尝试简单的提示来开始新项目，这些提示包括直接说明（零样本提示）或可能的一些示例输出（少样本提示）。这些提示通常会产生良好的结果，但达不到生产部署所需的准确性水平。下一级的提示技巧旨在将模型响应根据一些事实来源，并提供模型未被训练的外部上下文。[《](https://www.promptingguide.ai/techniques)[提示工程指南](https://www.promptingguide.ai/techniques)[》](https://www.promptingguide.ai/techniques)列出了不少于12(!)种更高级的提示策略，包括思维链、自洽性、生成的知识、思维树、方向刺激以及许多其他策略。这些策略也可以一起使用，以支持文档问题回答，聊天机器人等不同的LLM使用案例。这就是LangChain和LlamaIndex等编排框架大放异彩的地方。它们抽象出许多提示链的细节；与外部API的接口（包括确定何时需要API调用）；从向量数据库检索上下文数据；并在多个LLM调用中维持内存。它们还为上述许多常见应用提供了模板。它们的输出是要提交给语言模型的一个提示或一系列提示。这些框架在想要启动应用的业余爱好者和初创公司中被广泛使用，其中LangChain是领导者。LangChain仍然是一个相对新的项目（目前版本为0.0.201），但我们已经开始看到用它构建的应用正在转入生产。一些开发者，特别是LLM的早期采用者，更愿意在生产中切换到原生Python以消除额外的依赖性。但是我们预计，这种自行制作的方法会随着时间的推移，在大多数用例中的使用会减少，这与传统的web应用堆栈有着类似的情况。

本地部署资讯问答机器人：Langchain+Ollama+RSSHub 实现 RAG

经过调研，我决定先采取Langchain+Ollama的技术栈来作为demo实现，当然，后续我也会考虑使用dify、fastgpt等更加直观易用的AI开发平台。整体框架设计思路如下：另外，本次开发的运行环境是Intel Mac，其他操作系统也可以。下载模型等可能需要梯子。Langchain简介https://www.langchain.com/langchainLangchain是当前大模型应用开发的主流框架之一，旨在帮助开发者构建和部署基于大型语言模型（LLM）的应用。它提供了一系列的工具和接口，使得与LLM交互变得简单。通过Langchain，开发者可以轻松创建定制的高级应用，如聊天机器人、问答系统和多种智能应用。Langchain的核心在于其“链”概念，这是一个模块化的组件系统，包括Model I/O（模型输入输出）、Retrieval（数据检索）、Chains（链）、Agents（代理）、Memory（内存）、和Callbacks（回调）。这些组件可灵活组合，以支持复杂的应用逻辑。Model I/O模块负责处理与语言模型的直接交互，包括发送请求和解析响应。Retrieval模块用于增强语言模型的回答能力，通过向量数据库检索相关信息来支持回答生成。Chains模块则是多个组件的集成，用于构建更复杂的应用逻辑。Langchain的生态系统还包括LangSmith、LangGraph和LangServe等工具，这些工具能帮助开发者高效管理从原型到生产的各个阶段，以便优化LLM应用。Ollama简介https://ollama.com/Ollama是一个开箱即用的用于在本地运行大模型的框架。它的主要功能和特点包括：

Others are asking
LLM应用可观测性
LLM 应用的可观测性主要体现在以下方面： LangChain：借助 LangSmith 提供更好的日志、可视化、播放和跟踪功能，以便监控和调试 LLM 应用。LangSmith 是基于 Web 的工具，能查看和分析细化到 class 的输入和输出，还提供跟踪功能，用于记录和展示 LLM 应用的执行过程和状态，以及 LLM 的内部信息和统计数据。 Langfuse：为大模型应用提供开源可观测性和分析功能，在可视化界面中可探索和调试复杂的日志和追踪，并使用直观的仪表板改善成本、降低成本、减少延迟，提高响应质量。 此外，微软（中国）的《面向大模型的新编程范式》报告中也强调了在线监控和可观测性的重要性。
2025-04-11
LLM模型响应时间较长，如何处理超时时间问题
处理 LLM 模型响应时间过长导致的超时问题，可以考虑以下方法： 1. 参数有效调整：这是一种新颖的微调方法，通过仅训练一部分参数来减轻微调 LLM 的挑战。这些参数可能是现有模型参数的子集，或者是一组全新的参数，例如向模型添加一些额外的层或额外的嵌入到提示中。 2. 优化提示设计：采用合适的提示方法，如零样本提示、一次性提示、Fewshot prompting 等。零样本提示是只给出描述任务的提示；一次性提示是让 LLM 执行任务的单个示例；Fewshot prompting 是让 LLM 执行任务的少量示例。同时，可以使用结构化模式设计提示，包含上下文、问题示例及相应答案等组件，以指示模型应如何响应。 3. 避免频繁调整某些参数：尤其是 Top K 和 Top P，不需要经常对其进行调整。 4. 关注模型响应质量：即使有良好的提示设计，模型输出仍可能不稳定，需要持续关注和优化。 5. 考虑成本和时间：微调大型模型可能耗时且成本高，为大模型提供服务也可能涉及额外麻烦和成本，需要综合评估和优化。
2025-04-11
除了LLM，就没有AI模型了吗？
除了 LLM ，还有很多其他类型的 AI 模型。以下为您详细介绍： 1. 生成式 AI：可以生成文本、图片、音频、视频等内容形式。其中生成图像的扩散模型就不是大语言模型。 2. 机器学习：电脑找规律学习，包括监督学习、无监督学习、强化学习。 监督学习：有标签的训练数据，算法的目标是学习输入和输出之间的映射关系，包括分类和回归。 无监督学习：学习的数据没有标签，算法自主发现规律。经典任务包括聚类，比如拿一堆新闻文章，让模型根据主题或内容特征分成具有相似特征的组。 强化学习：从反馈里学习，最大化奖励或最小化损失，类似训小狗。 3. 深度学习：一种参照人脑有神经网络和神经元的方法（因为有很多层所以叫深度）。神经网络可以用于监督学习、无监督学习、强化学习。 4. 谷歌的 BERT 模型：可用于语义理解（不擅长文本生成），如上下文理解、情感分析、文本分类。 2017 年 6 月，谷歌团队发表论文《Attention is All You Need》，首次提出了 Transformer 模型，它完全基于自注意力机制（SelfAttention）来处理序列数据，而不需要依赖于循环神经网络（RNN）或卷积神经网络（CNN）。生成式 AI 生成的内容，叫做 AIGC 。
2025-04-11
linux下安装 anythingLLM
以下是在 Linux 下安装 AnythingLLM 的相关指导： 1. 安装地址：https://useanything.com/download 。 2. 安装完成后会进入配置页面，主要分为三步： 第一步：选择大模型。 第二步：选择文本嵌入模型。 第三步：选择向量数据库。 3. AnythingLLM 中有 Workspace 的概念，可以创建自己独有的 Workspace 与其他项目数据进行隔离。 首先创建一个工作空间。 上传文档并且在工作空间中进行文本嵌入。 选择对话模式，提供了 Chat 模式（大模型会根据自己的训练数据和上传的文档数据综合给出答案）和 Query 模式（大模型仅仅会依靠文档中的数据给出答案）。 4. 完成上述配置后，即可与大模型进行对话。 此外，在 GitHubDaily 开源项目列表 2023 年复盘的 AIGC 部分中，也有关于 AnythingLLM 的介绍： 是一个可打造成企业内部知识库的私人专属 GPT！可以将任何文档、资源或内容转换为大语言模型（LLM）知识库，使得在对话过程中可引用到里面的内容。 本文的思路来源于视频号博主黄益贺，作者按照他的视频进行了实操，并附加了一些关于 RAG 的额外知识。
2025-03-27
anythingLLM本地部署
以下是关于本地部署大模型以及搭建个人知识库的相关内容： 一、引言 作者是大圣，一个致力于使用 AI 工具将自己打造为超级个体的程序员，目前沉浸于 AI Agent 研究。本文将分享如何部署本地大模型及搭建个人知识库，读完可学习到如何使用 Ollama 一键部署本地大模型、了解 ChatGPT 信息流转、RAG 概念及核心技术、通过 AnythingLLM 搭建本地化数据库等。 五、本地知识库进阶 如果想要对知识库进行更灵活掌控，需要额外软件 AnythingLLM，它包含所有 Open WebUI 能力，并额外支持选择文本嵌入模型和向量数据库。 安装地址：https://useanything.com/download 。安装完成后进入配置页面，主要分为三步： 1. 第一步：选择大模型。 2. 第二步：选择文本嵌入模型。 3. 第三步：选择向量数据库。 构建本地知识库： AnythingLLM 中有 Workspace 概念，可创建独有 Workspace 与其他项目数据隔离。 1. 首先创建一个工作空间。 2. 上传文档并在工作空间中进行文本嵌入。 3. 选择对话模式，提供 Chat 模式（大模型根据训练数据和上传文档综合给出答案）和 Query 模式（大模型仅依靠文档数据给出答案）。 配置完成后可进行测试对话。 六、写在最后 作者推崇“看十遍不如实操一遍，实操十遍不如分享一遍”。如果对 AI Agent 技术感兴趣，可联系作者或加其免费知识星球（备注 AGI 知识库）。 本文思路来源于视频号博主黄益贺，作者按照其视频进行实操并附加了一些关于 RAG 的额外知识。
2025-03-26
LLM的原理
LLM（大语言模型）的工作原理如下： 以“我今天吃了狮子头和蔬菜”这句话为例，在 Transformer 中，会由 Attention 层对其加入更多信息补充，如“狮子头是一道菜”“今天是星期六”等，这些补充信息作为输入给到下一个 Attention 层，层与层之间，哪些信息补充、保留、传递，由模型自主学习，最终模型把海量数据以关系网形式“消化”并保留重要相关性。 形象地说，就像人阅读文章时的连贯性注意力过程，在阅读理解时，脑子里会消化吸收记忆，记忆的不是点状知识，而是网状经验。 大模型以词向量和 Transformer 模型学习海量知识，把知识作为向量空间中的关系网存储，接受输入时通过向量空间中的匹配进行输出。 观察大模型回复，是一个字一个字流式输出的，因为大模型确实在一个字一个字地推理生成内容。比如输入法输入联想，根据输入的单个字推测下一个字，加入上下文能帮助模型理解下一个字。但存在两个问题：一是全量数据计算算力吃不消，二是仅算字的概率易被不相干信息干扰，此时词向量机制和 Transformer 模型中的 Attention 自注意力机制解决了难题。 另外，RAG 对大语言模型的作用就像开卷考试对学生，事实性知识与 LLM 的推理能力相分离，被存储在容易访问和及时更新的外部知识源中，分为参数化知识（模型训练中学习得到，隐式储存在神经网络权重中）和非参数化知识（存储在外部知识源，如向量数据库中）。
2025-03-25
本地用Ollama部署模型，使用哪个ChatBox客户端好？
目前在本地使用 Ollama 部署模型时，没有特别突出或被广泛推荐的特定 ChatBox 客户端。不同的客户端可能在功能、界面和兼容性方面存在差异，您可以根据自己的需求和使用习惯进行选择和尝试。常见的一些客户端包括但不限于 Web 端的简单界面工具，或者一些具有特定功能扩展的桌面应用程序。但具体哪个最适合您，还需要您亲自测试和评估。
2025-03-27
ollama框架有哪些推荐
Ollama 是一个开源的框架，具有以下特点和功能： 1. 旨在简化在本地运行大型语言模型（LLM）的过程，提供了简单的 API 来创建、运行和管理模型，还有预构建模型库，降低使用门槛，适合初学者或非技术人员使用。 2. 支持多种大型语言模型，如通义千问、Llama 2、Mistral 和 Gemma 等，可用于不同应用场景。 3. 易于使用，适用于 macOS、Windows 和 Linux 系统，同时支持 CPU 和 GPU。 4. 提供模型库，用户可从中下载不同模型，这些模型有不同参数和大小，以满足不同需求和硬件条件。模型库可通过 https://ollama.com/library 查找。 5. 支持用户自定义模型，例如修改模型的温度参数来调整创造性和连贯性，或者设置特定的系统消息。 6. 提供 REST API，用于运行和管理模型，以及与其他应用程序的集成选项。 7. 社区贡献丰富，包括多种集成插件和界面，如 Web 和桌面应用、Telegram 机器人、Obsidian 插件等。 安装 Ollama 可通过官方下载地址 https://ollama.com/download 进行。安装完成后，可通过访问相关链接判断是否安装成功，在命令行中运行相应命令即可使用，如运行本地大模型的命令。还可通过 ollama list 确认模型下载情况。 此外，在 termux 软件中进行相关操作时，需执行如 aptget update、安装 curl 命令、安装 ollama 命令等。启动模型时，以 phi3 模型为例，在 termux 软件中执行命令 ollama run phi3 并等待下载完成。当然，Ollama 还有很多其他模型，如有需要可在 ollama 官网自行查看命令与下载。
2025-03-14
本地部署ollama+deep seek后怎么有效搭机械领域建知识库或微调为机械领域
以下是本地部署 ollama + deep seek 后有效搭建机械领域知识库或微调为机械领域的步骤： 1. 下载 Ollama 程序：官方网址为 https://ollama.com/ 。默认下载到 C 盘，若想修改安装目录到 D 盘，后续会有相关说明。下载完成后，右下角会出现 Ollama 的图标，打开命令行输入相应命令回车。根据自身独立显卡性能选择模型，如英伟达 2060Super 可选择 Deepseekr1:14b 的模型。若下载速度慢，可按 Ctrl+C 强制退出重新下载。下载完毕后，再下载一个嵌入模型，Ollama 的 bge 模型官方网址：https://ollama.com/library/bgem3 ，输入相应命令，下载好后直接退出终端。 2. 配置模型：返回 RAGFlow 中，打开右上角设置，进入模型提供商进行配置。选择 Ollama，并配置相关信息，基础 URL 按要求设置，设置完成后点击确定。 3. 导入嵌入模型：导入一个嵌入模型用于文本向量化。 4. 设置系统模型：完成相关设置。 5. 创建知识库：返回知识库，进入数据集，可导入文件或设置文件夹当作知识库，自行设置。导入完毕后，对文件进行解析，解析速度取决于本机 GPU 性能，越好的显卡解析越快。解析完成后，进行检索测试，测试没问题即可进入聊天界面，助理设置可自行设置。
2025-03-07
请给我找一个安装ollama-deep-researcher的完整教程，用于windows上。
很抱歉，目前没有关于在 Windows 上安装 ollamadeepresearcher 的完整教程。建议您通过以下途径获取相关信息： 1. 官方网站：访问 ollamadeepresearcher 的官方网站，查找针对 Windows 系统的安装指南。 2. 相关技术论坛：在专业的技术论坛上搜索相关主题，可能会有其他用户分享的安装经验和教程。 3. 视频平台：部分视频平台上可能有关于此软件在 Windows 上安装的演示视频。
2025-03-06
如何在电脑上用chatbox框架，使用ollama搭建deepseek模型
在电脑上使用 Chat Box 框架，通过 Ollama 搭建 DeepSeek 模型的步骤如下： 1. 阿里云百炼平台： 百炼平台的模型广场有各种模型，包括音频理解、视频理解等，通义的一些强模型也在其中。 百炼平台无需部署，可直接使用 DeepSeek R1 模型。 DeepSeek R1 模型的价格与各大平台差不多，有大量免费额度，如 100 万 token，不同版本的模型如 7B、14B、32B 等也送了 100 万 token，LLAVA 限时免费。 使用 DeepSeek R1 模型需要解锁和授权，没有授权按钮的需要对阿里云进行实名认证，可通过支付宝扫码或在右上角头像处进行，共学群里有相关指引。 在首页体验模型页面可对比不同模型的效果，如 V3 和 R1，R1 会先思考，速度较快。 多模态可以识别更多输入信息，如读文件、图片等，而 DeepSeek R1 本身不是多模态模型。 通过模型广场的 API 调用示例获取链接，截断后粘贴到 Chat Box 的设置中，添加自定义提供方，设置模型名称为 DeepSeek R1，并获取 API key。 API key 可删除旧的并重新创建，方便本地软件连接。 2. Docker + RAGFlow + Ollama 搭建： 返回 RAGFlow 中，打开右上角设置，进入模型提供商。 选择 Ollama，配置相关信息，模型取决于运行的模型。 配置基础 URL。 导入一个 embedding 模型，用于文本向量化。 设置系统模型设置。 进入数据集，导入文件，可设置文件夹当作知识库。 对文件进行解析，解析速度取决于本机 GPU 性能。 解析好之后，进入检索测试。 测试没问题，可进入聊天界面，助理设置可自行设置。 对于开源模型，如 DeepSeek、Llama 等，可以使用以下方式： 1. Inference Provider：使用 Together AI 等推理服务提供商，在线体验和调用各种开源模型。 2. LM Studio：使用 LM Studio 等本地应用程序，在个人电脑上运行和部署较小的开源模型。
2025-03-03
ollama是什么，使用场景有什么
Ollama 是一个开源的框架，旨在简化在本地运行大型语言模型（LLM）的过程。 它具有以下特点和优势： 1. 支持多种大型语言模型：包括通义千问、Llama 2、Mistral 和 Gemma 等，适用于不同应用场景。 2. 易于使用：适用于 macOS、Windows 和 Linux 系统，支持 CPU 和 GPU，能让用户轻松在本地环境中启动和运行大模型。 3. 模型库：提供丰富的模型库，用户可从中下载不同参数和大小的模型以满足不同需求和硬件条件，通过 https://ollama.com/library 查找。 4. 自定义模型：用户能通过简单步骤自定义模型，如修改温度参数调整创造性和连贯性，或设置特定系统消息。 5. API 和集成：提供 REST API 用于运行和管理模型，以及与其他应用程序的集成选项。 6. 社区贡献丰富：包括多种集成插件和界面，如 Web 和桌面应用、Telegram 机器人、Obsidian 插件等。 总的来说，Ollama 是一个高效、功能齐全的大模型服务工具，不仅适用于自然语言处理研究和产品开发，也适合初学者或非技术人员使用，特别是那些希望在本地与大型语言模型交互的用户。 其使用场景包括但不限于： 1. 自然语言处理研究。 2. 产品开发。 安装方法：官方下载地址为 https://ollama.com/download 。安装完成后，在 macOS 上启动 ollama 应用程序，在 Linux 上通过 ollama serve 启动，可通过 ollama list 确认是否安装成功。运行大模型时，在命令行中输入相应命令即可，模型会自动下载到本地。在 Python 程序中使用时，需确保 ollama 服务已开启并下载好模型。
2025-02-22
你知道vllm吗
vLLM 是由加州大学伯克利分校开发的。其核心技术是 PageAttention，吞吐量比 HuggingFace Transformers 高出 24 倍。相较于 FasterTrainsformer，vLLM 更加简单易用，不需要额外进行模型的转换，支持 fp16 推理。详细的推理文档见： 。同时，随着大模型参数规模的不断增长，在有限的算力资源下，提升模型的推理速度逐渐变为一个重要的研究方向，常用的推理加速框架包含 lmdeploy、TensorRTLLM、vLLM 和 JittorLLMs 等。
2024-10-04
prompt 框架
以下是关于 prompt 框架的相关内容： 格式： 常见的格式包括 Markdown（兼容性强，适用于写公众号文章、百家号文章等）、无序列表、有序列表、表格（更清晰直观，适用于对比数据等）、图片（具有随机性，可搭配生成 PPT）、二维码（将链接以二维码图片展示）、Latex 公式（面对数学问题时使用，能渲染出美观的公式，但目前官网对于行内公式的渲染不稳定）、代码（适合程序员指定需要撰写的代码，也方便复制内容）、JSON 格式（ChatGPT 可以以结构化数据形式输出信息，方便应用程序处理和解析，常用于程序员开发应用程序调用 API 时）。 关键框架： ICIO 框架：包括指令（执行的具体任务）、背景信息（提供执行任务的背景和上下文）、输入信息（大模型需要用到的信息）、输出信息（明确输出的具体要求，如字数、风格、格式）。 BROKE 框架：通过 GPT 的设计提示提升整体反馈效率，包括提供足够背景信息、角色设定、目标明确、结果定义、调整。 CRISPIE 框架：包括能力和角色（期望大模型扮演的角色洞察，提供幕后洞察力、背景信息和上下文）、声明（简洁明了的说明希望完成的任务）、个性（回应的风格、个性或者方式）、实验（提供多个回答的示例）。 律师使用 Prompt 的建议框架及格式： CRISPE 框架： Capacity and Role（能力与角色）：例如，你是一名专注于民商事法律领域的律师，擅长案例研究、法律条文检索以及案件策略分析。 Insight（洞察）：提供背景信息和上下文，如处理一起复杂的合同纠纷案件，向 AI 提供案件的关键事实、相关法律以及案件涉及的背景。 Statement（陈述）：直接明确期望 AI 完成的任务，如要求 AI 总结此案件中双方的诉求、检索法条、预测可能的判决结果。 Personality（个性）：明确希望 AI 以什么风格或方式回答。 Experiment（举例）。 零样本思维链（Zero Shot Chain of Thought，ZeroshotCoT）：研究了 CoT prompting 的后续发展，引入了一种简单的零样本提示方法。在问题结尾添加相关提示词，能让大语言模型生成回答问题的思维链，并从中提取出更准确的答案。
2025-04-10
分析程序员在AI能力上的不同维度，比如AI框架，AIPrompt等
以下是对程序员在 AI 能力上不同维度的分析，包括 AI 框架和 AI Prompt 等方面： AI 框架： PromptPal：专为 AI 领域中的初创公司和个人开发者设计的提示管理工具，是一个集中化平台，便于在 AI 项目中管理提示，实现协作和工作流程优化。具有本地部署和云原生、简易设置、数据库支持、SDK 支持、提示跟踪与分析、协作工具等特点。开发指向： ChainForge：开源的可视化编程环境，专门用于测试大型语言模型（LLMs）的提示。允许用户进行快速而有效的提示想法测试和变化，具有多模型测试、响应质量比较、评估指标设置、多对话管理等特点。开发指向： AI Prompt： Promptknit：为 AI Prompts 测试提供服务的平台，可能提供工具和资源来帮助用户设计、测试和优化 AI 模型的提示。网站： 对于律师等法律人写好 Prompt 的建议： 明确 Prompt 是给人工智能（AI）系统提供的信息或问题，用来引导其产生特定回答或执行特定任务。 建议框架及格式：CRISPE 包括 Capacity and Role（能力与角色）、Insight（洞察）、Statement（陈述）、Personality（个性）、Experiment（举例）。例如，在处理合同纠纷案件时，为 AI 赋予角色和能力，提供背景信息和上下文，明确期望其完成的任务，设定回答风格等。
2025-04-09
提示词框架
以下是关于提示词框架的相关内容： 一、Vidu Prompt 基本构成 1. 提示词基础架构 主体/场景 场景描述 环境描述 艺术风格/媒介 调整句式和语序，避免主体物过多/复杂、主体物分散的句式描述。 避免模糊的术语表达，尽可能准确。 使用更加流畅准确的口语化措辞，避免过度文学化的叙述。 丰富、准确和完整的描述才能生成特定艺术风格、满足需求的视频。 2. 提示词与画面联想程度的说明 为了帮助更好地理解，使用单帧图像作为例子介绍提示词与画面联想的关系。 基础词：玻璃桌上的咖啡杯，杯子外面写着单词 LOVE。 适度联想扩充：花园里（具体的位置描述）的透明（材质描述）玻璃桌上的咖啡杯，杯子外面写着单词 LOVE，周围满是盛开的鲜花（具体的位置描述/环境描述），和煦的阳光洒满整个花园（环境描述），Claude Monet（艺术家风格），印象派风格（艺术流派风格）。 联想关键点： 具体详实的位置描述/环境描述：笼统来讲就是在进行构图，可以帮助构建画面的基本呈现效果。 艺术风格描述：进一步提升效果和氛围，统一画面风格。 二、小七姐：Prompt 喂饭级系列教程小白学习指南（二） 如果拿到由四个词语组成的提示词框架无从下手，可以这样做： 恭喜你，写出了第一个提示词，它是： 请告诉我如何用下列四个词编写一个框架性的提示词（prompt）？ 情境: 任务: 行动: 结果: 请回忆写出这条提示词的过程。 最后复习本节课的三步走： 1. 懂原理 2. 找需求 3. 用框架 下课啦~ 我是 prompt 学习者和实践者小七姐，欢迎链接我交流 prompt 相关知识：se7en319
2025-04-01
形成指令让AI根据我的论文框架写论文
以下是为您提供的让 AI 根据论文框架写论文的相关指导： 1. 提供详细的背景信息：如您的个人经历、研究主题等，类似于“我来自西班牙巴塞罗那。尽管我的童年经历了一些创伤性事件，比如我 6 岁时父亲去世，但我仍然认为我有一个相当快乐的童年……”这样具体且全面的描述。 2. 结构化组织内容：使用编号、子标题和列表来使论文条理清晰，例如规定概述内容解读结语的结构，或者分标题阐述不同部分。 3. 明确文章结构：包括开门见山且能引起目标群体悬念的标题，说清楚要解决的问题及背景、可能导致的损失的第一部分，以案例引入的第二部分，对案例进一步分析的第三部分，以及给出具体操作建议的第四部分。 4. 丰富细化内容：先让 AI 写故事概要和角色背景介绍并做修改，然后一段一段进行细节描写，可采用让 AI 以表格形式输出细节描述的技巧，确保内容具体且前后一致。 5. 注意语言风格：可以自己定义，也可以根据文章生成对应语言风格关键词让 AI 遵循。 6. 遵循相关要求：比如某些比赛对作品的字数、修改限制等。 需要注意的是，虽然可以利用 AI 辅助写作，但并非提倡这是道德的使用方式。同时，如果是接收方，最好为组织准备好迎接各种 AI 生成的内容。
2025-03-30
问题定义： 1. 核心问题陈述：创作一份个人参赛的、以光伏业务中财务工作与AI结合进行业务赋能为主题的展示类参赛方案框架。 2. 关键上下文信息：公司举办AI创新大赛，个人参赛，主题方向为工作和AI结合限定在业务赋能，公司业务是光伏领域。 3. 问题的具体范围界定：聚焦光伏业务中财务工作与AI结合进行业务赋能的展示方案框架创作。 答案要求： 1. 内容范围： - 必须包含：整体参赛方案思路、光伏财务业务与AI结合的具体方向、展示方案大致框架。
很抱歉，您提供的知识库内容中没有与光伏业务中财务工作与 AI 结合进行业务赋能的参赛方案框架相关的信息。但以下是为您生成的一个可能的参赛方案框架示例： 一、整体参赛方案思路 本次参赛方案旨在探索如何将 AI 技术应用于光伏业务中的财务工作，以实现更高效、精准和智能化的业务赋能。通过深入分析光伏行业的特点和财务工作的需求，结合先进的 AI 技术，提出创新的解决方案，提升财务工作的效率和质量，为公司的光伏业务发展提供有力支持。 二、光伏财务业务与 AI 结合的具体方向 1. 财务预测与分析 利用机器学习算法对光伏项目的成本、收益进行预测，为投资决策提供数据支持。 分析市场趋势和政策变化对财务状况的影响，提前制定应对策略。 2. 风险评估与管理 运用大数据和人工智能技术，对光伏项目的风险进行实时监测和评估。 建立风险预警模型，及时发现潜在的财务风险。 3. 成本优化与控制 通过智能算法优化供应链管理，降低采购成本。 分析生产过程中的能耗数据，实现成本的精细化控制。 4. 财务报表自动化生成与审计 利用自然语言处理技术自动生成财务报表，提高工作效率。 运用 AI 辅助审计，提高审计的准确性和效率。 三、展示方案大致框架 1. 项目背景与目标 介绍光伏行业的发展现状和公司的业务情况。 阐述将财务工作与 AI 结合的目标和意义。 2. 技术方案与实现 详细介绍所采用的 AI 技术和算法。 展示技术方案的实现过程和关键步骤。 3. 应用案例与效果 分享实际应用案例，展示 AI 在财务工作中的具体应用场景。 分析应用效果，如成本降低、效率提升、风险控制等方面的成果。 4. 未来展望与挑战 展望 AI 在光伏财务领域的未来发展趋势。 探讨可能面临的挑战及应对策略。 5. 总结与结论 总结方案的核心内容和创新点。 强调对公司光伏业务的价值和贡献。 以上框架仅供参考，您可以根据实际情况进行进一步的细化和完善。
2025-03-28
详细讲解一下ragflow框架，同时对比一下ragflow与常规知识库有什么优势，在graphrag的实现方面ragflow又是怎么做的？
RAG（检索增强生成）是一种有效的解决方案，下面为您详细讲解： RAG 工作流程： 1. 检索（Retrieval）：如同在图书馆中，系统会从知识库或文档集合中找出与用户问题相关的内容。 2. 增强（Augmented）：对检索到的信息进行筛选和优化，挑出最相关和有用的部分。 3. 生成（Generation）：将整合的信息生成自然流畅、易于理解的回答。 RAG 类似于一个超级智能的图书馆员，综合起来： 1. 检索：从庞大知识库中找到相关信息。 2. 增强：筛选优化确保找到最相关部分。 3. 生成：整合信息给出连贯回答。 RAG 的优势： 1. 成本效益：相比训练和维护大型专有模型，实现成本更低。 2. 灵活性：能利用多种数据源，包括结构化和非结构化数据，迅速适应不同领域和变化的数据。 3. 可扩展性：随时增加或更新知识库内容，无需重新训练模型。 RAG 与常规知识库的对比优势： 常规知识库可能存在知识更新不及时、数据来源单一等问题。而 RAG 能够从多种数据源获取信息，并且可以根据用户的实时需求进行检索和优化，生成更贴合需求的回答。 在 GraphRAG 的实现方面，目前提供的内容中未明确提及相关具体实现方式。 同时需要注意的是，RAG 也存在一些缺点，比如相比于专有模型的方案，回答准确性可能不够。
2025-03-28