与知识库对话 - 李沐

回答

李沐是一位在 AI 领域具有重要影响力的人物。以下是关于他的一些信息：

在模型、产品方面的演讲中，李沐提到数据采集是自动化的关键，区分了预训练（工程问题）和后训练（技术问题），强调高质量、相关数据和算法改进的重要性。建议通过微调大模型来提升性能，指出算法创新面临巨大挑战，垂直模型仍需通用知识支持，模型评估极其复杂，数据决定模型上限，算法决定下限，当前 AI 仍处于“填鸭式”学习阶段，算力成本主要归于硬件厂商，自建机房和租用 GPU 差异不大。
李沐可能参与创办了名为 Boson.ai 的公司，不过目前其是否官宣加入尚无确切消息。
在内存与算力趋势方面，李沐认为内存大小是模型规模的主要限制因素，预测长期来看算力会越来越便宜，降低浮点数精度可优化硬件，但高能耗成为新挑战。预测语言模型参数主流会在 100B 到 500B 之间，每次预训练使用 10T 到 50T 的 token，因为数据质量和多样性已达到足够规模。

内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

数据采集是自动化的关键，但这是个长期过程。李沐区分了预训练（工程问题）和后训练（技术问题）的不同，强调高质量、相关数据和算法改进的重要性。在创业方面，他建议通过微调大模型来提升性能。算法创新面临巨大挑战，特别是在不同规模模型间。关于垂直模型，李沐认为它们仍需通用知识支持。模型评估极其复杂，需要全面、动态的方法。他强调数据决定模型上限，算法决定下限，当前AI仍处于"填鸭式"学习阶段。最后，李沐提到算力成本主要归于硬件厂商，自建机房和租用GPU差异不大。

中国AI 生态2023上半年投资地图

https://www.vitalbridge.com/|公司名|创始人|介绍|标签|网站|附件|团队组成| |-|-|-|-|-|-|-| |聆心智能|创始人：黄民烈教授2000年毕业于清华大学工程物理系|从机器智能到类人智能：全球首个，性能最佳的AGI Companion生成底座-- AI乌托邦 通过自然语言交互引擎，让AGI进入真实生活世界，成为人类的专属成长型AGI Companion，不仅可以提高生产效率，还可给予个性化的心灵体验，创造一个可控、安全、可成长的「人-AGI」交互环境|大模型|[https://emohaa.cn](https://emohaa.cn)||| |Boson|创始人：李沐，Alex Smola|这是前亚马逊机器学习总监Alex Smola在领英上更新的一些内容。资料显示，他已于2023年2月离开亚马逊，然后参与创办了一家名为Boson.ai的公司并担任CEO 据称，一同参与创业的可能还有亚马逊首席科学家李沐。不过，现在李沐并没有官宣加入的消息，我们只能从新公司的GitHub项目和一些推特帖子中找到一些蛛丝马迹。 链接： [https://github.com/boson-ai/homepage](https://github.com/boson-ai/homepage)|大模型|[boson.ai](http://boson.ai)|||

课代表笔记：吴恩达 & 李沐对AI的见解（8月总结版）

内存大小是模型规模的主要限制因素，尽管英伟达在市场领先，但在内存方面落后于AMD和Google的TPU。关于算力，李沐预测长期来看会越来越便宜，特别是在解决带宽和内存问题后。他提到降低浮点数精度可优化硬件，但高能耗成为新挑战。关于英伟达的市场垄断，短期内可能导致算力价格上涨，但长期看来，竞争加剧和摩尔定律作用下算力会变得更便宜。李沐预测语言模型参数主流会在100B到500B之间，每次预训练使用10T到50T的token，因为数据质量和多样性已达到足够规模。