Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

未来类似deepseek这种推理大模型普及，结构化提示词是不是会成为过时的知识

Answer

未来类似 DeepSeek 这种推理大模型普及，结构化提示词不会成为过时的知识。

虽然未来模型可能在某些情况下无需提示词，仅通过简单对话就能理解用户意图，但基础的如何与模型对话的认知仍需具备，这就涉及提示词。例如李继刚老师的结构化提示词能让模型给出更优质、完整的答案。操作过程中有很多有意思的提示词，如“酷老师”“抬杠高手”等，近期提示词有升级，李继刚老师将其玩到新高度，cloud 等大语言模型可直接显示编译结果内容。输入特定提示词可生成卡片，小创业项目可利用并改变提示词形成独到见解或小应用。

从工程视角看，AI 提示词在游戏创作及优化中也有应用。此外，提示工程的本质是提供足够的信息来明确指定要求，即使模型在理解上下文方面变得更好，能够清晰地陈述目标始终很重要，仍需要明确预期结果的能力和技巧。未来可能会更多地利用提示工程来让模型为我们生成、调整提示词，对于没有太多提示工程经验的人来说，提示词生成器可以帮助他们。未来的提示可能更像是一种自省，模型会尝试理解用户真正在思考什么、需要什么。

在 R1 时代，使用 AI 提示词的关键在于提供足够的背景信息，而非复杂的结构。简单大白话仍然有效，但信息量不足则难以得到理想结果。示例和框架可帮助理清思路，但最终影响在于用户的思考和表达。利用乔哈里视窗分析信息需求，避免过度指令化，让 AI 自由思考，从而激发更高的创意和效果。“有用的不是技巧，而是你的思考！”

Content generated by AI large model, please carefully verify (powered by aily)

References

01-通往AGI之路知识库使用指南

[heading2]智能章节本章节认为虽然未来模型可能无需提示词，仅简单对话，但基础的如何与模型对话的认知仍需具备，这就涉及提示词。建议从最佳实践中的收录内容开始看，像李继刚老师的结构化提示词就很有意思，使用这种提示词能让模型给出更优质、完整的答案。[59:54](https://waytoagi.feishu.cn/minutes/obcn7mvb3vu6k6w6t68x14v5?t=3594000)提示词的用法及李金刚老师对其的创新玩法本章节提到操作过程中有很多有意思的提示词，如“酷老师”“抬杠高手”等。操作时可点开并复制这些提示词，文档板块可复制，将复制内容丢进大源模型对话效果会不同。此外，近期提示词有升级，李金刚老师将提示词玩到新高度，cloud等大语言模型可直接显示编译结果内容。[01:00:59](https://waytoagi.feishu.cn/minutes/obcn7mvb3vu6k6w6t68x14v5?t=3659000)利用提示词开展小创业项目及大语言模型相关分享本章节提到输入特定提示词可生成卡片，小创业项目可利用并改变提示词形成独到见解或小应用。13号李继刚老师会讲创作思路，还有很有趣的内容，如黑话专家。此外有教如何让语言模型输出更拟人化的板块，最佳实践中有很多实战案例，像产品经理的prompt等。[01:02:59](https://waytoagi.feishu.cn/minutes/obcn7mvb3vu6k6w6t68x14v5?t=3779000)从工程视角看AI提示词在游戏创作及优化中的应用

Claude工程师聊prompt：不要把模型当小孩子、不需要角色扮演、实话实说

Alex Albert：我们聊了提示工程的过去，现在让我们来谈谈提示工程的未来。这是现在最热门的问题。我们将来都会成为提示工程师吗？那会是最后剩下的工作吗？有猜想说：未来我们除了整天和模型对话之外，什么也不剩了。还是说，将来这些模型会变得足够智能，不再需要提示词吗？David Hershey：模型会越来越擅长理解你的意图，你需要投入的思考量可能会减少。但信息论的角度来看，你总需要提供足够的信息来明确指定你的要求。这就是提示工程的本质，我认为它会一直存在。而且能够清晰地陈述目标始终很重要，因为即使模型在理解上下文方面变得更好，我们还是会需要能够明确预期结果的能力，这仍然需要技巧。Zack Witten：我觉得未来我们会更多地利用提示工程来让模型为我们生成、调整提示词。尤其是对于那些没有太多提示工程经验的人来说，提示词生成器可以帮他们开始自己的「提示工程之旅」，我认为这是一个的重要的发展路径。Amanda Askell：是的，我现在就在大量使用元提示。关于提示工程将何去何从的问题，我认为这是一个非常难的问题。还记得之前那个例子吗？我觉得未来会像是那些请来的临时工会转变为更熟悉各种边缘情况的专业外包团队。至于提示工程是否会消失，我觉得对于一些领域如果模型做得足够好，还真有可能——它们能从你的大脑中提取信息，然后完成任务，那确实可能会发生这种情况。Alex Albert：从你们的回答中，我看到未来的趋势可能是，从用户那里提取信息将变得更加重要。企业方面，这可能会变成提示生成的扩展，能够从客户那里获得更多信息，以便编写更好的提示。在云服务中，这可能不仅仅是文本框中的输入，而是更多的互动式引导。Zack Witten：我觉得现在的提示有点像教学，你试图理解学生的思维方式，帮助他们清晰表达。而未来的提示可能更像是一种自省，模型会尝试理解你，理解你真正在思考什么、需要什么，而不是你去教它。

4.4 历史更新

《[AI「视觉图灵」时代来了！字节OmniHuman，一张图配上音频，就能直接生成视频](https://mp.weixin.qq.com/s/0OYlkcxoFvx6Z9IN-aq90w)》字节跳动推出的新技术OmniHuman，利用单张图片和音频生成生动的视频，突破了传统技术的局限。它通过多模态混合训练，解决了高质量数据稀缺的问题，实现了对任意尺寸图像的支持，生成自然的人物运动。《[甲子光年：2025 DeepSeek开启AI算法变革元年](https://waytoagi.feishu.cn/record/S5Jtrlw9neyXMccQ6CAcZsxHnXu)》DeepSeek的出现标志着算力效率拐点显现，其通过优化算法架构，显著提升了算力利用效率，打破了算力至上的传统认知。同时，AI基础大模型的参数量迎来拐点，2025年发布的大模型呈现低参数量特征，为本地化部署到AI终端运行提供了可能。此外，报告强调2025年是算法变革的元年，DeepSeek的推理模型开启了算法变革，其训练过程聚焦于强化学习，提升了模型的推理能力。《[R1之后，提示词技巧的变与不变](https://mp.weixin.qq.com/s/-51tjTWRdi19sEBCQMe1sw)》在R1时代，使用AI提示词的关键在于提供足够的背景信息，而非复杂的结构。简单大白话仍然有效，但信息量不足则难以得到理想结果。示例和框架可帮助理清思路，但最终影响在于你的思考和表达。利用乔哈里视窗分析信息需求，避免过度指令化，让AI自由思考，从而激发更高的创意和效果。“有用的不是技巧，而是你的思考！”

Others are asking
你如何评价manus和deepseek的事件性？从里程碑的角度来思考！
从里程碑的角度来看，DeepSeek 在处理这个事件时展现出了强大的语言生成和情境构建能力。它能够根据复杂且细致的需求，在思考 8 秒后生成一段富有历史感、情感深度和符合人物性格处境的独白。这段独白不仅考虑到了时间设定、文学修辞的运用，还兼顾了历史事实和人物的心理活动，展现出了较高的智能水平和创作能力。然而，对于 Manus 在这一事件中的作用或表现，由于提供的内容中未提及，无法进行评价。
2025-03-10
有关Deepseek的知识内容
以下是关于 DeepSeek 的相关知识： 媒体报道和网络文章方面： 微博上热搜，主流媒体全报道。 众多作者发表了关于 DeepSeek 的文章，涵盖基础认知、提示词破解、进阶思考等类型，相关链接包括： 通往 AGI 之路：关于 DeepSeek 的所有事情【知识库持续更新中】，https://mp.weixin.qq.com/s/n0WrrJL0fVX6zLeTBWpZXA 数字生命卡兹克：DeepSeek 的提示词技巧，就是没有技巧，https://zhuanlan.zhihu.com/p/20544736305 （错误） 宝玉：教你如何破解 DeepSeek R1 系统提示词，https://mp.weixin.qq.com/s/vAp2wI5ozTw7R6jreLMw 橘子汽水铺：中国开源，震撼世界：DeepSeek R1 的变革、启示与展望，https://mp.weixin.qq.com/s/yGUgehbxKisVaHlOkxhuaw 橘子汽水铺：自学成才之路，DeepSeek R1 论文解读，https://mp.weixin.qq.com/s/gmdHyh6fsUdj1JhM1sV9bg 新智元：史上首次，DeepSeek 登顶中美 AppStore！NYU 教授：全球「AI 霸权」之争已结束，https://mp.weixin.qq.com/s/ybvV8RMX0yyS5YfG1qNWgg 一支烟花 AI：用流程图对比 DeepSeekR1,OpenAI O1,Claude 说明强化学习在 AI 大模型训练、推理的创新和意义，https://mp.weixin.qq.com/s/mdGtOcg1RuQOEBn31KhxQ 腾讯科技：一文读懂｜DeepSeek 新模型大揭秘，为何它能震动全球 AI 圈，https://mp.weixin.qq.com/s/cp4rQx09wygE9uHBadI7RA 张小珺腾讯科技：一场关于 DeepSeek 的高质量闭门会：比技术更重要的是愿景，https://mp.weixin.qq.com/s/a7C5NjHbMGh2CLYk1bhfYw 在 AI 编程与炼金术：Build on Trae 中： 涉及 DeepSeek R1 的章节包括使用 DeepSeek R1 给老外起中文名、申请 DeepSeek R1 API、网页接入 DeepSeek API 等，相关链接包括：
2025-03-10
deepseek如何赋能职场应用实现工作提效?
DeepSeek 可以通过以下方式赋能职场应用实现工作提效： 1. 作为多场景 AI 工具，支持从创意到实现的全流程智能化服务，能快速将创意转化为高质量视频，具备角色一致性技术与分镜自动成片功能，并且支持美学意象风格短片创作。 2. 提供基础模型和深度思考模型两种模式，分别适用于高效便捷任务和复杂推理分析任务。 3. 可用于制作可视化图表、PPT 大纲及设计海报等，通过智能体框架实现人机高效协作。 4. 直接使用 DeepSeek 有多种方法，并且有诸多提示词技巧，在专业场景提效、教育学术赋能、商业创新与生活服务等领域用途广泛，像辅助办公、教学设计、电商运营等。 5. 可以与飞书多维表格结合，实现批量处理信息，提升工作效率，如批量转换文风、快速回复消息、利用 AI 生成文案等，让普通人无需编程知识也能轻松使用 AI。
2025-03-10
deepseek如何赋能职场应用实现工作提效？
DeepSeek 可以通过以下方式赋能职场应用实现工作提效： 1. 作为多场景 AI 工具，支持从创意到实现的全流程智能化服务，能快速将创意转化为高质量视频，具备角色一致性技术与分镜自动成片功能，并且支持美学意象风格短片创作。 2. 提供基础模型和深度思考模型两种模式，分别适用于高效便捷任务和复杂推理分析任务。 3. 用于制作可视化图表、PPT 大纲及设计海报等，通过智能体框架实现人机高效协作。 4. 直接使用 DeepSeek 有多种方法，并且有诸多提示词技巧，在专业场景提效、教育学术赋能、商业创新与生活服务等领域用途广泛，像辅助办公、教学设计、电商运营等。 5. 可以与飞书多维表格结合，实现批量处理信息，提升工作效率，如批量转换文风、快速回复消息、利用 AI 生成文案等。
2025-03-10
DEEPSEEK
DeepSeek 是一家具有独特特点和影响力的公司。 DeepSeek 不是“中国式创新”的产物，将其比喻成“AI 界的拼多多”是偏颇的。早在 2024 年 5 月 DeepSeekV2 发布时，其以多头潜在注意力机制（MLA）架构的创新在硅谷引发小范围轰动，而当时在国内舆论场被描摹成“大模型价格战的发起者”。这表明 DeepSeek 与硅谷更有对话和交流的密码，其秘方是硅谷味儿的。 如果 V3 是 DeepSeek 的 GPT3 时刻，接下来的发展充满未知，但 DeepSeek 作为中国最全球化的 AI 公司之一，赢得全球同行尊重的秘方也是硅谷味儿的。 一个提示词“HiDeepSeek”能让 DeepSeek 的能力更上一层楼。通过 Coze 做的小测试可进行效果对比。使用方法为：首先搜索 www.deepseek.com 并点击“开始对话”；然后将装有提示词的代码发给 Deepseek；最后认真阅读开场白后正式开始对话。其设计思路包括将 Agent 封装成 Prompt 并储存在文件，通过提示词文件让 DeepSeek 实现同时使用联网和深度思考功能，在模型默认能力基础上优化输出质量等。完整提示词版本为 v1.3，特别鸣谢李继刚的【思考的七把武器】提供思考方向，以及 Thinking Claude 和 Claude 3.5 Sonnet。
2025-03-10
deepseek本地化部署
DeepSeek 的本地化部署相关内容如下： 拥有云服务器时的本地部署方法及满血版本地部署的实际情况。 在 freely.aliyun.com 可领取 500 元免费额度，但有使用限制，不能部署满血版和较大的增流模型。 介绍了 DLC、DSW 和 EAS 等模型部署平台服务的差别。 此外，还包括以下相关内容： 模型蒸馏微调：会带着大家复现模型的蒸馏和微调，并讲解相关知识。 Deepseek R1 模型的制作及相关模型比较：R1 是原生通过强化学习训练出的模型，蒸馏模型是基于数据微调出来的，基础模型能力强，蒸馏微调模型能力也会强。R1 模型通过强化学习，在训练过程中给予模型反馈，如路线规划是否成功到达终点、输出格式是否符合期望等，对正确路线增强权重，使做对的概率变高，导致思考逻辑变长。用 Deepseek RE Zero 蒸馏出带思考的数据，基于 Deepseek V3 微调，进行冷启动，再做强化学习，还从非公布模型提取微调数据，加上人类偏好，最终形成 R1。并且 Deepseek R1 反过来蒸馏数据微调 V3，形成互相帮助的局面，使两个模型都更强。 阿里云派平台：以云基础设施和 GPU 算力资源为底层，搭建 AI 框架并做优化，提供一键式快捷部署工具等。与百炼不同，它开放更多自由度，租户数据隔离。很多大模型在此训练，支持多机分布式部署等，既面向企业，也适合个人创业者，不同应用定价有差异。
2025-03-10
如果要搭建一个自己的业务知识的结构化知识库，推荐哪个平台和工具？
以下是为您推荐的搭建自己业务知识结构化知识库的平台和工具： 1. Coze： 影响 RAG 输出质量的因素：当下这些平台的 RAG 能力对问答场景友好，其他场景效果一般。若需要企业级复杂知识库场景，可能需要找专业团队，收费几万到几十万不等。 基础能力：包括提示词（设定 Bot 身份、目标和技能）、插件（通过 API 连接集成平台和服务）、工作流（规划和实现复杂功能逻辑）、记忆库（保留和理解对话细节，添加外部知识库）。 相关参考：编写提示（https://www.coze.cn/docs/guides/prompt）、插件介绍（https://www.coze.cn/docs/guides/create_plugin）、工作流介绍（https://www.coze.cn/docs/guides/workflow）、知识库介绍（https://www.coze.cn/docs/guides/knowledge）、数据库（https://www.coze.cn/docs/guides/database）。 2. 您还可以参考以下文章： 《小七姐：信息管理工具与方法》：从信息源的选择、信息通路的建立、知识结构化、知识内化与应用等方面展示了信息管理和知识体系搭建的过程。 《这可能是讲 Coze 的知识库最通俗易懂的文章了》：其中提到如果想使用专门搭建个人知识库的软件，可以查看《手把手教你本地部署大模型以及搭建个人知识库》（https://waytoagi.feishu.cn/wiki/ZKGmwsQhTihYZ8kdu7uccF1lnQc?from=from_copylink），忽略本地部署大模型环节，直接看其中推荐的软件。但使用该软件可能需要对接一些额外的 API，建议先了解 RAG 的原理再使用。
2025-03-05
如何让大模型输出结构化的数据
要让大模型输出结构化的数据，可以采取以下几种方法： 1. 设计合理的 Prompt 工程： 明确的待处理内容指引：在构建 Prompt 时，清晰地定义需要处理的文本，并使用标记框起来，让模型准确识别待处理内容范围。 提供明确字段定义：具体化每个字段的名称、用途及要求，为模型提供清晰的提取方向。 异常处理：设置异常处理原则，如规定缺失数据使用默认值填充，特殊数据类型符合标准格式，确保模型输出的完整性和一致性。 要求结构化输出：指示模型以结构化格式（如 JSON）输出数据，便于后续处理和系统集成。 2. 搭建工作流： 模型选择：根据需求选择合适的大模型，如默认的豆包 32k 或更大的 kimi128k 等。 配置参数：进行批处理，输入相关参数，如文章内容正文、url 链接和标题等。 提示词输入：将相关内容一起送给大模型进行总结，并拼接成特定格式输出。 汇总格式化最终输出内容：使用代码节点对大模型输出的内容进行最终格式化。 3. 探索 JSON Output 应用： 无模板的 Excel 导入：改变传统数据导入方式，通过 Prompt 读取想要的数据列。 AI 审核员：在人审环节前加 AI 审，提供相关知识和少量示例，输出简单结果。 分类器：一个 Prompt 即可完成分类任务。 应用于其它业务场景：如在一些业务场景中落地，提高效率。 但需要注意的是，过去大模型还不太成熟，应用过程可能会有一些困难。
2025-02-27
怎么让AI识别对话，并生成结构化数据存储到我的软件系统里
要让 AI 识别对话并生成结构化数据存储到软件系统里，可以参考以下方法： 1. 基于结构化数据来 RAG：如果原始数据本身就是结构化、标签化的，不必将这部分数据做向量化。结构化数据的特点是特征和属性明确，可用有限标签集描述，能用标准查询语言检索。以餐饮生活助手为例，流程包括用户提问、LLM 提取核心信息并形成标准查询、查询结构化数据、LLM 整合回复。 2. 利用 Coze 平台设计 AI 机器人：创建好 Bot 后，从“个人空间”入口找到机器人，进行“编排”设计。Coze 平台常用的概念和功能包括提示词（设定 Bot 身份和目标）、插件（通过 API 连接集成服务）、工作流（设计多步骤任务）、触发器（创建定时任务）、记忆库（保留对话细节，支持外部知识库）、变量（保存用户个人信息）、数据库（存储和管理结构化数据）、长期记忆（总结聊天对话内容）。设计 Bot 时要先确定目的，比如“AI 前线”Bot 的目的是作为 AI 学习助手，帮助职场专业人士提升在人工智能领域的知识和技能，并提供高效站内信息检索服务。 注：Coze 官方使用指南见链接：https://www.coze.cn/docs/guides/welcome ，遇到疑问也可查阅该指南。
2025-02-18
生成一个完整的结构化提示词
以下是为您生成的关于结构化提示词的相关内容： 为 AI 视频生成设计的结构化提示词模板包含镜头语言、主体、细节、氛围等要素，适合生成具有电影感的大场景视频。完整提示词结构示例为：主题风格+镜头运动+主体描述+动态细节+背景环境+光影色调+情绪氛围（可附加技术参数：如时长、运镜速度、镜头焦距等） 样例驱动的渐进式引导法是让 AI 主动读懂您的想法。以 1 2 个正向样例作为起点，通过与 AI 的多轮对话，引导 AI 从样例中提炼隐含的生成要求，逐步完善提示词。例如教 AI 仿写爆文时，只需提供优秀样例，AI 会自动分析理解精髓并生成符合自身运作方式的指令。 其核心步骤包括： 1. 构建初始样例：创建符合期望输出的具体例子。 2. 评估样例，尝试提炼模板：让 AI 分析理解样例的结构和关键元素，并以专家视角优化样例。 3. 固定模板，强化要求说明：基于对初始样例的理解，让 AI 提出通用模板，通过测试 Prompt 验证可靠性。 4. 生成结构化提示词：将优化后的模板转化为结构化的提示词，用户适当调整并确认后投入使用。 在这个过程中，用户的角色主要是： 1. 提供尽可能与自己预期一致的初始样例。 2. 判断 AI 的输出质量。 3. 反馈改进建议，提供行动引导。 这种方法的优势在于简化了提示词设计过程，让非专业用户也能创建高质量的 Prompt。通过引导 AI 进行分析和优化，用户可以专注于判断输出质量和提供反馈，而不需要深入理解复杂的 Prompt 工程技巧。接下来，将通过一个实战案例“知识闪卡 AI”来逐步分享运用过程，帮助您直观了解如何使用该方法设计高质量的提示词。
2025-02-18
请把机器学习相关和大模型相关的知识点形成一个结构化的知识树，包括但是不限于算法、框架、工具、注意力机制等
以下是一个关于机器学习和大模型的结构化知识树： 一、基础数学知识 1. 线性代数 2. 概率论 3. 优化理论 二、机器学习基础 1. 监督学习 分类 回归 2. 无监督学习 聚类 3. 强化学习 三、深度学习 1. 神经网络 卷积网络 递归网络 注意力机制 2. Transformer 模型 四、自然语言处理 1. 语言模型 2. 文本分类 3. 机器翻译 五、计算机视觉 1. 图像分类 2. 目标检测 3. 语义分割 六、前沿领域 1. 大模型 2. 多模态 AI 3. 自监督学习 4. 小样本学习 七、工具与框架 1. TensorFlow 2. PyTorch 八、应用领域 1. 自然语言处理 2. 计算机视觉 3. 推荐系统 九、数据处理 1. 数据采集 2. 数据清洗 3. 特征工程 十、模型部署 1. 模型优化 2. 模型服务 十一、科研实践 1. 论文阅读 2. 模型实现 3. 实验设计 十二、行业实践 1. 项目实战 2. 案例分析
2025-02-11
AI提示词结构化和普通的提示词相比好处是什么
AI 提示词结构化与普通提示词相比具有以下好处： 1. 降低沟通难度：使与模型的交互更加清晰和易于理解。 2. 提高结果准确度：能够更精准地引导模型生成符合预期的输出。 3. 增强可读性和组织性：基于 Markdown 语法和角色法框架的结构化提示词，让复杂任务的分解更加直观。 然而，结构化提示词也存在一定的局限性，比如限制了更多可能性，不太适合解决过于主观、个人情绪的问题，也未必能完全搞定所有需求。在提示词的发展过程中，经历了从依赖 OpenAI 官方的基本技巧，到各种提示词框架的出现，再到明确任务目标、采用角色扮演方法、进行结构化提示词编写、测试和迭代，以及封装为智能体等阶段。
2025-02-10
推理行大模型对于RAG的准确性提升，带来哪些改变
推理行大模型对 RAG 准确性提升带来了以下改变： 1. 当辅以能有效提取文档中结构化信息并整合为提示词的 PDF 解析器时，大语言模型能作出更准确的响应，提高了提供给模型的数据质量和相关性，从而提升模型输出质量。 2. 大模型应用领域常用的 RAG 方法，能让模型用自定义数据生成结果，处理无尽私有数据，将模型当成高效推理机器。但 RAG 存在一些常见误区： 随意输入任何文档不一定能得到准确回答，RAG 流程中的多个环节都会影响最终质量。 RAG 虽能减少幻觉，但不能完全消除，只要有大模型参与就可能产生幻觉。 RAG 仍消耗大模型的 Token，最终需大模型处理检索结果生成通顺回答。 未来，将研究分享更多基于深度学习的文档解析方法，以更全面理解 RAG 质量和文档解析质量的关系。同时，前沿模型研发团队力争做到吞吐量、速度和准确度的最佳平衡。
2025-03-03
推理模型的技术原理
推理模型是一种新的范式，专注于解决复杂、多步骤的问题。其技术原理主要包括以下方面： 1. 思考输入意图：通过对输入内容的深入理解，明确问题的核心和需求。 2. 逐步提供答案：不像传统模型一次性给出结果，而是分步骤进行推理和回答。 3. 擅长领域：在解谜和高级数学等具有挑战性的任务中表现出色。 4. 与传统模型的区别：传统模型可能更倾向于直接给出结果，而推理模型会通过逐步思考来提供答案。 5. 成本和易错性：推理模型成本高昂且容易出错，适用场景有限。 6. 模型变体：如 DeepSeek 推出的多种变体（如 R1Zero 和 R1Distill）展示了不同的训练策略和性能表现。 7. 思考过程：类似于人类的慢思考过程，结合行业特点给出重要事项和先后顺序。 8. 运算原理：快思考是概率预测，脱口而出但不一定对；慢思考在概率预测基础上做二层逻辑，即链式思维，展开问题找多条路径并互相验证。 9. 适用场景：指令遵循领域 instruct 模型效果好，推理和创造性问题适合用慢思考的推理模型。
2025-03-01
如何让推理大模型回答的更准确，使用什么样的提示词
要让推理大模型回答得更准确，可以通过以下提示词相关的设置和方法： 1. 参数设置： Temperature：参数值越小，模型返回结果越确定；调高参数值，可能带来更多随机、多样化或具创造性的产出。对于质量保障等任务，设置更低值以促使模型基于事实返回真实简洁结果；对于诗歌生成等创造性任务，可适当调高。 Top_p：与 Temperature 类似，用于控制模型返回结果的真实性。需要准确和事实的答案时，调低参数值；想要更多样化答案时，调高参数值。一般建议改变其中一个参数即可。 Max Length：通过调整控制大模型生成的 token 数，有助于防止生成冗长或不相关的响应并控制成本。 Stop Sequences：指定字符串来阻止模型生成 token，是控制响应长度和结构的方法之一。 Frequency Penalty：对下一个生成的 token 进行惩罚，与 token 在响应和提示中出现次数成比例，减少响应中单词的重复。 2. 提示词示例： 对于推理任务，目前已有一些涉及数学能力的改进。执行推理任务可能有难度，需要更高级的提示词工程技术，后续会介绍相关高级技术。 可以通过示例给模型说明，可能获得更准确结果，后面章节会介绍更多常见应用示例。 3. 调教方法： 像打字和写作一样，不断尝试和大模型交互是最佳方法，方法论不是关键。 可以在提示词里设定规则，也可临时更改，交互时无需遵循规则，重点是是否达成目的，未达成可重新尝试或更换模型。 用 Markdown 格式清晰表达问题，具有结构清晰、格式化强调、适用性广等优点，有助于模型更好地理解用户意图。
2025-02-26
复杂推理的产品，给模型灌什么能够更好训练推理能力？以及怎么优化模型的推理准确度？
以下是一些能够更好训练模型推理能力以及优化推理准确度的方法： 1. OpenAI 的推理模型通过强化学习进行训练，在训练过程中，模型学会在回答前思考，产生长链的思维过程，并不断尝试不同策略，识别错误，从而能够遵循特定的指导方针和模型政策，提供更有用的回答，避免产生不安全或不适当的内容。 2. 蒙特卡洛树搜索（MCTS）对推理模型有积极影响，例如在数学定理证明中，能探索非确定性证明路径，将解决 IMO 几何题的耗时从传统方法的 30 分钟降至 90 秒；在多跳问答系统中，结合 MCTS 的模型在 HotpotQA 数据集上准确率提升 12%，因其能回溯验证中间推理步骤。 3. 动态知识融合机制方面，传统基于规则的推理无法处理模糊知识，而 MCTS 增强方案在医疗诊断中可将误诊率从纯规则引擎的 23%降至 9%。 4. 资源分配优化方面，在逻辑谜题求解任务中，MCTS + Transformer 能达到 85%准确率且耗时 3 秒，而纯 Transformer 为 62%准确率且耗时 8 秒；在法律条文推导任务中，MCTS + Transformer 有 92%合规性且耗时 5 秒，纯 Transformer 为 88%合规性且耗时 2 秒。 OpenAI 于 9 月 12 日发布的新模型 o1 旨在实现通用复杂推理，通过强化学习和思维链的方式提升推理能力，尤其在数学和编程领域表现出色，但用户反馈显示其实际表现与宣传存在差距，成本高于 GPT4o，且在某些任务上优势不明显，OpenAI 仍在探索如何优化模型的推理性能。
2025-02-21
偏推理型的内容，怎么提升模型的推理深度及准确度？
提升模型推理深度及准确度的方法包括以下几个方面： 1. 扩大模型规模：随着模型规模的扩大，其推理能力会得到提升，类似于 AlphaGo 或 AlphaZero 的工作方式，通过蒙特卡罗推演来修改评估函数，从而提高推理精度。 2. 引入多模态学习：引入图像、视频和声音等多种模式将极大地改变模型的理解和推理能力，特别是在空间理解方面。多模态模型可以通过更多的数据和更少的语言来进行学习。 3. 优化训练方法： RLHF（Reinforcement Learning from Human Feedback）：模型在这个过程中的目标是最大程度地获得人类的认可，通过奖励模型来衡量。 结合不同的推理能力提高途径：将生成不同的思维链（CoT）并选择有效路径的方法，与在部署时用大量计算进行推理的方法结合起来。 4. 改进模型结构和算法： 规模和算法是科技进步的关键因素，数据和计算规模具有决定性作用。 在模型之上添加启发式方法或增加模型本身的规模。 此外，Hinton 还提到了一些相关观点，如最合理的模型是将符号转换成大向量并保留符号的表面结构，大型语言模型通过寻找共同的结构来提高编码效率，以及即使训练数据中有错误，大型神经网络也具有超越训练数据的能力等。
2025-02-21
LLM 训练推理模型有哪些
以下是一些常见的 LLM 训练推理模型： 1. FengshenbangLM： 地址： 简介：是 IDEA 研究院认知计算与自然语言研究中心主导的大模型开源体系，开源了姜子牙通用大模型 V1，是基于 LLaMa 的 130 亿参数的大规模预训练模型，具备翻译、编程、文本分类、信息抽取、摘要、文案生成、常识问答和数学计算等能力。除姜子牙系列模型之外，还开源了太乙、二郎神系列等模型。 2. BiLLa： 地址： 简介：开源了推理能力增强的中英双语 LLaMA 模型。较大提升 LLaMA 的中文理解能力，并尽可能减少对原始 LLaMA 英文能力的损伤；训练过程增加较多的任务型数据，利用 ChatGPT 生成解析，强化模型理解任务求解逻辑；全量参数更新，追求更好的生成效果。 3. Moss： 地址： 简介：支持中英双语和多种插件的开源对话语言模型，MOSS 基座语言模型在约七千亿中英文以及代码单词上预训练得到，后续经过对话指令微调、插件增强学习和人类偏好训练具备多轮对话能力及使用多种插件的能力。 此外，Andrej Karpathy 的相关介绍中提到了 LLM 训练的一些情况，如训练过程涉及大约 10TB 的文本，通常来源于互联网的抓取，需要大量的互联网资源和一个 GPU 集群，费用大约 200 万美元。Karpathy 的视频还详细介绍了 LLM 训练的全部过程，包括预训练、有监督微调和强化学习等。
2025-02-16