在使用openai api的时候,同一轮对话,需要每次都传system prompt吗?可以利用什么session id来减少system prompt的显示调用吗 在使用 OpenAI API 进行同一轮对话时,系统提示的使用并非每次都必须传递。系统提示在对话中类似于一个过滤器,大语言模型在回应新提示前会自动应用。一般来说,系统提示包括任务定义、输出格式和操作边界等部分,以确保大语言模型清楚任务、按要求格式化回答以及明确不应采取的行为。
另外,OpenAI 还推出了 Stateful API,开发者只需传入最新的对话记录,大模型会结合该记录和其维护的历史记录依据上下文产生新内容。Stateful API 的实现机制类似于 KV Cache,能指数级降低大模型应用的开销,提升计算速度。例如,在不使用 cache 的情况下,使用 GPT2 生成 1000 个 Token 将耗时 56 秒,而使用 cache 的耗时则被降低为 11 秒。可以预期 Stateful API 会采用类似于 KV Cache 的机制,缓存用户对话的历史记录,并在每次 API 调用中,使用增量信息结合服务端的历史记录生成文本,以此降低计算规模。
但关于是否可以利用 session id 来减少系统提示的显示调用,目前提供的知识库中未提及相关内容。
2024-12-11