大模型和知识库的结合是一个关键问题。目前，大模型在通用知识方面表现出色，但对专业领域知识了解有限，这阻碍了其更广泛的应用。
运行几百亿个参数的大模型，存算一体的架构是较好的选择，能避免数据搬运。
把大模型和私域知识结合有以下 5 种方法，按对模型改造的侵入性从左到右依次为：
2、观点——在端到端算法的时代，不应该继续使用冯诺依曼架构。3、在存算一体（在存储单元里做计算）的芯片之上，一定会诞生一种全新的算法。说明——对比人脑，我们用一碗米饭或者用一顿饭就可以支撑我们半天的工作或者大量的脑力消耗，不需要去花几千度电或者是上大量的能耗才能完成，所以使用存算一体的方式是未来AI硬件下一步的发展趋势。运行一个几百亿个参数的大模型最好的架构一定是存算一体的架构，因为它避免了所有的数据的搬运。4、现在大模型在通用知识方面很强，但对专业领域知识一无所知。怎么把领域知识结合进大模型里面去——这个是阻碍大模型更大规模应用的最关键的问题。5、把大模型和你的私域知识结合的5种方法：按对模型改造侵入性划分，可以从左到右分为：重新训练——微调——RAG——关键词工程1.重新训练（拿私域数据重新训练大模型）2.微调（拿私有数据fine-tuning大模型）3.RAG（将知识库里的知识搜索送进大模型）4.关键词工程（写好提示词）5.加长Context——当Context能无限长的时候，理论上讲可以把关于你的知识和记忆都prefill到Context里边去；
2、观点——在端到端算法的时代，不应该继续使用冯诺依曼架构。3、在存算一体（在存储单元里做计算）的芯片之上，一定会诞生一种全新的算法。说明——对比人脑，我们用一碗米饭或者用一顿饭就可以支撑我们半天的工作或者大量的脑力消耗，不需要去花几千度电或者是上大量的能耗才能完成，所以使用存算一体的方式是未来AI硬件下一步的发展趋势。运行一个几百亿个参数的大模型最好的架构一定是存算一体的架构，因为它避免了所有的数据的搬运。4、现在大模型在通用知识方面很强，但对专业领域知识一无所知。怎么把领域知识结合进大模型里面去——这个是阻碍大模型更大规模应用的最关键的问题。5、把大模型和你的私域知识结合的5种方法：按对模型改造侵入性划分，可以从左到右分为：重新训练——微调——RAG——关键词工程1.重新训练（拿私域数据重新训练大模型）2.微调（拿私有数据fine-tuning大模型）3.RAG（将知识库里的知识搜索送进大模型）4.关键词工程（写好提示词）5.加长Context——当Context能无限长的时候，理论上讲可以把关于你的知识和记忆都prefill到Context里边去；
2、观点——在端到端算法的时代，不应该继续使用冯诺依曼架构。3、在存算一体（在存储单元里做计算）的芯片之上，一定会诞生一种全新的算法。说明——对比人脑，我们用一碗米饭或者用一顿饭就可以支撑我们半天的工作或者大量的脑力消耗，不需要去花几千度电或者是上大量的能耗才能完成，所以使用存算一体的方式是未来AI硬件下一步的发展趋势。运行一个几百亿个参数的大模型最好的架构一定是存算一体的架构，因为它避免了所有的数据的搬运。4、现在大模型在通用知识方面很强，但对专业领域知识一无所知。怎么把领域知识结合进大模型里面去——这个是阻碍大模型更大规模应用的最关键的问题。5、把大模型和你的私域知识结合的5种方法：按对模型改造侵入性划分，可以从左到右分为：重新训练——微调——RAG——关键词工程1.重新训练（拿私域数据重新训练大模型）2.微调（拿私有数据fine-tuning大模型）3.RAG（将知识库里的知识搜索送进大模型）4.关键词工程（写好提示词）5.加长Context——当Context能无限长的时候，理论上讲可以把关于你的知识和记忆都prefill到Context里边去；