个人知识库与大模型如何结合

说明——对比人脑，我们用一碗米饭或者用一顿饭就可以支撑我们半天的工作或者大量的脑力消耗，不需要去花几千度电或者是上大量的能耗才能完成，所以使用存算一体的方式是未来AI硬件下一步的发展趋势。运行一个几百亿个参数的大模型最好的架构一定是存算一体的架构，因为它避免了所有的数据的搬运。4、现在大模型在通用知识方面很强，但对专业领域知识一无所知。怎么把领域知识结合进大模型里面去——这个是阻碍大模型更大规模应用的最关键的问题。5、把大模型和你的私域知识结合的5种方法：按对模型改造侵入性划分，可以从左到右分为：重新训练——微调——RAG——关键词工程1.重新训练（拿私域数据重新训练大模型）2.微调（拿私有数据fine-tuning大模型）3.RAG（将知识库里的知识搜索送进大模型）4.关键词工程（写好提示词）5.加长Context——当Context能无限长的时候，理论上讲可以把关于你的知识和记忆都prefill到Context里边去；好，我们今天看到了5种解法，下面就问哪一种是最有希望的？留在桌子上的只有长Context和RAG两个选项。学术界有两派人，很有意思的是，做深度学习的人，大家好像偏向于用RAG；以前做过搜索的人（了解搜索有哪些坑），大家会偏向于用Long Context~我（阳萌）认为最后还是走一个仿生的方法——有一个足够长的Context（举了谷歌的一篇论文infinite context transform，不需要把Context做太长，可以把以前可能需要被扔掉的token深度压缩后依然保存在Context里）

说明——对比人脑，我们用一碗米饭或者用一顿饭就可以支撑我们半天的工作或者大量的脑力消耗，不需要去花几千度电或者是上大量的能耗才能完成，所以使用存算一体的方式是未来AI硬件下一步的发展趋势。运行一个几百亿个参数的大模型最好的架构一定是存算一体的架构，因为它避免了所有的数据的搬运。4、现在大模型在通用知识方面很强，但对专业领域知识一无所知。怎么把领域知识结合进大模型里面去——这个是阻碍大模型更大规模应用的最关键的问题。5、把大模型和你的私域知识结合的5种方法：按对模型改造侵入性划分，可以从左到右分为：重新训练——微调——RAG——关键词工程1.重新训练（拿私域数据重新训练大模型）2.微调（拿私有数据fine-tuning大模型）3.RAG（将知识库里的知识搜索送进大模型）4.关键词工程（写好提示词）5.加长Context——当Context能无限长的时候，理论上讲可以把关于你的知识和记忆都prefill到Context里边去；好，我们今天看到了5种解法，下面就问哪一种是最有希望的？留在桌子上的只有长Context和RAG两个选项。学术界有两派人，很有意思的是，做深度学习的人，大家好像偏向于用RAG；以前做过搜索的人（了解搜索有哪些坑），大家会偏向于用Long Context~我（阳萌）认为最后还是走一个仿生的方法——有一个足够长的Context（举了谷歌的一篇论文infinite context transform，不需要把Context做太长，可以把以前可能需要被扔掉的token深度压缩后依然保存在Context里）

说明——对比人脑，我们用一碗米饭或者用一顿饭就可以支撑我们半天的工作或者大量的脑力消耗，不需要去花几千度电或者是上大量的能耗才能完成，所以使用存算一体的方式是未来AI硬件下一步的发展趋势。运行一个几百亿个参数的大模型最好的架构一定是存算一体的架构，因为它避免了所有的数据的搬运。4、现在大模型在通用知识方面很强，但对专业领域知识一无所知。怎么把领域知识结合进大模型里面去——这个是阻碍大模型更大规模应用的最关键的问题。5、把大模型和你的私域知识结合的5种方法：按对模型改造侵入性划分，可以从左到右分为：重新训练——微调——RAG——关键词工程1.重新训练（拿私域数据重新训练大模型）2.微调（拿私有数据fine-tuning大模型）3.RAG（将知识库里的知识搜索送进大模型）4.关键词工程（写好提示词）5.加长Context——当Context能无限长的时候，理论上讲可以把关于你的知识和记忆都prefill到Context里边去；好，我们今天看到了5种解法，下面就问哪一种是最有希望的？留在桌子上的只有长Context和RAG两个选项。学术界有两派人，很有意思的是，做深度学习的人，大家好像偏向于用RAG；以前做过搜索的人（了解搜索有哪些坑），大家会偏向于用Long Context~我（阳萌）认为最后还是走一个仿生的方法——有一个足够长的Context（举了谷歌的一篇论文infinite context transform，不需要把Context做太长，可以把以前可能需要被扔掉的token深度压缩后依然保存在Context里）