在大模型的研发道路上,思维链、指令微调和智能涌现等关键思想备受关注。正是思维链技术(Chain of Thought)让大模型能够涌现出一系列神奇的能力,成为了现代大语言模型产生「涌现」的底层技术。思维链旨在通过向大语言模型展示少量的样例,并通过这些样例解释推理过程,让大语言模型学会在生成答案时展示推理过程,并引导其得到更准确的答案。相当于将黑盒深度学习的多步推理过程的中间步骤拆开,结耦了各个步骤的工作,简化了每一步工作上模型的压力,在提高可解释性的同时提升了模型性能。研究灵感往往来自某次偶然的一瞥惊鸿,可遇而不可求。谈起思维链的灵光乍现,CoT提出者Jason Wei表示,他的灵感来源是一本叫做《Waking up》的冥想之书,该书作者为美国无神论者、公共知识分子Sam Harris,从灵修(spirituality)的角度讲述了思维、意识和自我的关系。
与传统的Prompt从输入直接到输出的映射方式相比,LangGPT提示词框架应用了CoT(Chain of Thought)完成了从输入到思维链再到输出的映射,即<input——>reasoning chain——>output>。最后你会发现浓缩成一句话可以解决模型在规划过程中的路径拆解,CoT的思维:“Let's think step by step。”(让我们一步一步思考)RPA的工作流设计RPA其实很早就已经出现,就是做工作流编排领域。流程机器人(RPA)软件的目标是使符合某些适用性标准的基于桌面的业务流程和工作流程实现自动化,一般来说这些操作在很大程度上是重复的,数量比较多的,并且可以通过严格的规则和结果来定义,现在越来越多的RPA软件带上了LLM。ComfyUI的工作流设计近期出现的ComfyUI是将开源绘画模型Stable Diffusion进行工作流化操作模式,用户需要在流程编辑器中配置出每一个的pipeline,并通过不同节点和连线来完成模型的操作和图片内容生成,提高了流程的可复用性,降低了时间成本,同时它的DSL配置文件还支持导出导入。Dify.AI可被复制的工作流设计在Dify.AI中,我很兴奋的看到它的工作流设计语言跟ComfyUI会有一些相似之处,都是定义了一套标注化的DSL语言,并且非常方便的可以使用导入导出的功能进行工作流的复用。
这些例子显示了CoD在多种不同场景中的潜在应用,帮助用户得到更有结构和针对性的AI生成内容。</example>三、CoD、CoT、ToT的区别先前我们陆续介绍思维链CoT和思维树ToT(请参阅:1.思维链提示(Chain-of-Thoughts,COT Prompting)——暖心和有感的服务;价值界定;2.思维树提示(Tree-of-Thought,ToT Prompting)——球在哪里?),那么和今天介绍的密度链CoD,三者之间有什么区别?分别适用什么场景?以下是GPT-4的回答。GPT-4也采用比喻方式,对三种提示词做关键说明:• Chain of Density(CoD):「使用CoD来指导AI就像按照特定的顺序和结构建造一座积木塔。每一步都必须精确和有组织,以确保整体的稳定性和连续性。」• Chain of Thought(CoT):「使用CoT来指导AI就像进行一次探险。尽管有一条指引的路径,但每一步都需要深入的思考和策略,以确定最佳的前进方向。」• Tree of Thought(ToT):使用ToT来指导AI就像走在一棵决策树上。每当遇到分支时,都会基于当前的情境和条件选择一个方向。这种方法允许AI在多个可能的路径中选择,并根据不同的情境和条件做出相应的反应。」