Chat with Wiki - LLM的实现原理

Answer

LLM 无需微调仅用提示词工程获得 tool calling 功能的实现原理主要包括以下两部分：

提示词注入阶段：
- INSTRUCTION 为最后注入到系统提示中的字符串，它包含 TOOL_EAXMPLE、tools_instructions、REUTRN_FORMAT 三个部分。
- TOOL_EAXMPLE 用于提示 LLM 如何理解工具以及如何使用工具，编写时应注意用无关紧要的工具作为示例，避免 LLM 混淆。
- tools_instructions 是由通用的工具字典转换成 LLM 可读的工具列表，实际使用时可通过输入不同工具动态调整，让 LLM 得知可用工具及使用方法。
- REUTRN_FORMAT 定义了调用 API 的格式。
工具结果回传阶段：
- 利用正则表达式抓取输出中的“tool”和“parameters”参数。
- 对于 interpreter 工具，使用另一种正则表达式提取 LLM 输出的代码，提高使用成功率。
- 通过识别 LLM 返回的调用工具的字典，提取对应的值，传入相应工具函数，最后将工具返回的结果以 observation 的角色返回给 LLM。对于不接受这些角色的 LLM 接口，可改为回传给 user 角色。

通过以上提示词工程，可以避免微调，让完全没有 tool calling 能力的 LLM 获得稳定的 tool calling 能力。

Content generated by AI large model, please carefully verify (powered by aily)

References

利用正则表达式抓取输出中的"tool"和"parameters"参数。对于interpreter工具，使用了另一种正则表达式来提取LLM输出的代码，提高LLM使用interpreter工具的成功率。本文使用代码如下：通过识别LLM返回的调用工具的字典，提取出对应的值，再传入相应的工具函数，最后将工具返回的结果以observation的角色返回给LLM。对于一些不接受observation、tool、function角色的LLM接口，可以改为回传给user角色，例如：通过以上提示词工程，可以避免微调，让完全没有tool calling能力的LLM获得稳定的tool calling能力。

无需微调，仅用提示词工程就能让 LLM 获得 tool calling 的功能

INSTRUCTION为最后注入到系统提示中的字符串，他又包含了TOOL_EAXMPLE、tools_instructions、REUTRN_FORMAT三个部分。TOOL_EAXMPLE用于提示LLM如何理解tool以及如何使用tool。在编写TOOL_EAXMPLE时，请注意用一些无关紧要的工具作为示例，例如本文使用的将数字加一和数字减一的工具，从而避免LLM混淆真正可以使用的工具与示例工具。tools_instructions是由目前通用的工具字典转换成LLM可读的工具列表。实际使用LLM时，可以通过输入不同的工具来动态调整tools_instructions，让LLM得知目前可用的工具有哪些以及如何使用。REUTRN_FORMAT定义了调用API的格式。

无需微调，仅用提示词工程就能让 LLM 获得 tool calling 的功能

本文采用的提示词工程主要有两部分代码组成：提示词注入和工具结果回传。提示词注入用于将工具信息以及使用工具的提示词添加到系统提示中。工具结果回传则是解析tool calling的输出，并将工具返回的内容再次嵌入LLM。