大模型优化的方式主要包括以下几种:
1. 模型压缩:由于大模型的参数众多,内存需求巨大,在实际部署时会进行压缩。例如使用内存占用更小的数据类型,如 16 位的浮点数,其中英伟达在其最新一代硬件中引入了对 bfloat16 的支持。
2. 上下文优化:如果模型缺失必知信息,如内部业务数据、流程等,可通过将相关信息提供给模型进行优化。例如采用 RAG 技术,先在知识库检索相关内容,然后与提示词组装后提供给大模型作为输入。
3. 大模型优化:在进行足够的 prompt 工程后,如果模型在垂直领域表现不足或输出内容的格式风格稳定性不及预期,可以考虑微调。但微调也要与良好的 prompt 工程结合。
4. 更换大模型:例如从 ChatGLM26B 替换成 baichuan213b,可能提升性能。
5. 更换 embedding 模型:如将 embedding 模型从 LangChain Chatchat 默认的 m3ebase 替换为 bgelargezh。
6. 测试不同 Top k 的值:比较不同的 Top k 值(如 Top 5、Top 10、Top 15),找到最优效果的值。
7. 对文档名称进行处理:人工对文件重命名,上传相同文件构建知识库,并勾选【开启中文标题加强】选项,可减少无关信息,提升效果。
2024-11-08