以下是关于调优大模型的一些方法:
1. 更换大模型:比如从 ChatGLM26B 替换成 baichuan213b,针对特定场景,后者性能可能提升一倍左右。
2. 更换 embedding 模型:将 embedding 模型从 LangChain Chatchat 默认的 m3ebase 替换为 bgelargezh,后者可能更优。
3. 测试不同 Top k 的值:比较 Top 5、Top 10、Top 15 的结果,发现 Top 10 时效果最优。
4. 对文档名称进行处理:人工对文件重命名,上传相同文件构建知识库,同时在构建时勾选【开启中文标题加强】选项。重命名文件对结果提升不明显,但勾选该选项后,回答的无关信息减少,效果有所提升。
5. Prompt 阶段:需要一定的 prompt 工程,选择最合适的 prompt 模板。根据相关论文,把 query 放到头部和尾部,同时把相似度大的文档放到 context 的两端,能提升回答效果。
6. LLM 生成答案:大模型本身的性能是最大影响因素。选择大模型时要在成本和收益间找最佳平衡点,有条件还可对模型进行微调以更匹配自身场景。
2024-12-12