Coze 工作流的 LLM 节点支持配置批量处理模式,后续该节点会按照配置多次运行,直到达到次数限制或者列表的最大长度,可以实现重复/循环输出。以下是一个示例,展示了如何使用 Coze 工作流的 LLM 节点实现重复/循环输出:
通过以上步骤,可以使用 Coze 工作流的 LLM 节点实现重复/循环输出。需要注意的是,Coze 工作流目前还不支持流式地输出结果,用户需要等 Workflow 执行完才能看到结果,这点比较影响体验。
LLM节点是扣子提供的基础节点之一,你可以使用该节点的大语言模型处理文本生成任务。节点配置说明:模型:所用的大语言模型。Temperature:模型生成内容的随机度。取值范围[0-1],数值越大表示生成不确定性越高、内容越多元。提示词:该节点的提示词。在提示词中支持使用{{variable}}引用输入参数(Input)。批处理:支持配置批量处理模式,后续该节点会按照配置多次运行。每次运行都会分配参数值,直到达到次数限制或者列表的最大长度。配置示例,参考[使用LLM处理问题](https://www.coze.cn/docs/guides/workflow_use_llm)。
如果你了解编程的话,你可以把Workflow看作是一个函数。整个Workflow的输入参数只有一个,就是用户的提问(query),它是一个字符串。2调用Google搜索插件搜索互联网上的信息这里使用了Coze提供的“Google Web Search”插件。`num`参数控制返回搜索结果的数量。论文里说增加这个数量可以提高回答准确率。但是考虑到响应速度以及用户易于接受的信息量,我这里把它设置成了7。3格式化搜索结果Google搜索插件返回的是一些结构化数据,这里我利用“Code”组块插入了一段代码,这段代码的作用就是把Google搜索返回结果格式化成两个字符串:一个字符串是由搜索结果相关的信息拼接而成(retrieved_contexts);另一个字符串是由搜索出来的网页链接拼接而成(references)。前者将会被插入到LLM的提示词里,后者将会插入到Workflow的最终输出结果里,也就是大家在Dr.Know回复里看到的参考链接列表。这段Python代码相当于粘合剂,逻辑不复杂,理论上可以让AI帮助生成。
整个Workflow的最终输出结果由两部分拼接成:response是LLM依据搜索结果生成的对用户提问的回复,references是参考链接列表。Coze的Workflow提供了两种输出模式:一,返回一些变量值,然后让聊天模型基于这些变量值回复用户;二,在Workflow里拼接好输出内容,然后直接用这段内容回复用户。这里为了节省响应时间,我使用了模式二。Coze的Workflow目前还不支持流式地输出结果,用户需要等Workflow执行完才能看到结果,这点比较影响体验。