以下是为您整合的相关内容:
在 CES 2024 上,李飞飞争论 LLM 和 AIGC 名称不能混用,吴恩达则认为在公众传播中没关系,李飞飞难以接受,猜测这模糊了大模型的本质。在公众传播层面:
公众传播一般会混用上述名词,其底层是 Transformer 结构。Transformer 底层是 function loss 损失函数,是一个大参数(千亿级别)的回归方程。回归方程的 Function loss 拟合 A 到 B 的 mapping 关系,实现数据集的压缩与还原。Transformer 在一定 prompt condition 情况下,repeat 曾经出现过的数据内容,实现“生成”能力。大语言模型的智能体验在两个数据集压缩后,能解释两个数据集之间地带的“连续”能力。大语言模型是一个 perfect memory,repeat 曾经出现的内容。它与 Alpha Go 有差异,Alpha Go 是一个增强学习模型,学习结果会调整模型自身参数,有推理能力,但大语言模型这块很弱。Transformer 决定 LLM 是一个生成式模型。
另外,2 月 3 日社区动态速览:
作者:Garman邬嘉文原文:https://mp.weixin.qq.com/s/b7Cctfgb4w5LCCBrSYIlrg[heading2]Transformer决定边界[content]在CES 2024,李飞飞在争论LLM和AIGC名称不能混用,吴恩达觉得在公众传播没关系。李飞飞觉得难以接受,个人猜测是它模糊了大模型的本质。在公众传播层面:AIGC:指用Stable Diffusion或Midjourney生成图像内容,后来泛指用AI生成音乐、图像、视频等内容。LLM:指NLP领域的大语言模型,如ChatGPT。GenAI:生成式人工智能模型,国内官方政策文件使用这个词相对科学,涵盖了LLM和AIGC。AGI:指通用人工智能,部分人觉得LLM具有AGI潜力,LeCun反对。公众传播一般会混用上述名词,但底层是transformer结构。(stable diffusion原采用LDM+UNet,后来改为DiT)而transformer底层是function loss损失函数Transformer是一个大参数(千亿级别)的回归方程。回归方程的Function loss拟合A to B mapping关系,实现数据集的压缩与还原。Transformer是在一定prompt condition情况下,repeat曾经出现过的数据内容,实现“生成”能力。大语言模型的智能体验在两个数据集压缩后,能解释两个数据集之间地带的“连续”能力。(Ilya)所以大语言模型是一个perfect memory,repeat曾经出现的内容。它与Alpha Go差异:Alpha Go是一个增强学习模型,学习结果会调整模型自身参数Alpha Go有推理能力,但大语言模型这块很弱。Transformer决定LLM是一个生成式模型。
作者:Garman邬嘉文原文:https://mp.weixin.qq.com/s/b7Cctfgb4w5LCCBrSYIlrg[heading2]Transformer决定边界[content]在CES 2024,李飞飞在争论LLM和AIGC名称不能混用,吴恩达觉得在公众传播没关系。李飞飞觉得难以接受,个人猜测是它模糊了大模型的本质。在公众传播层面:AIGC:指用Stable Diffusion或Midjourney生成图像内容,后来泛指用AI生成音乐、图像、视频等内容。LLM:指NLP领域的大语言模型,如ChatGPT。GenAI:生成式人工智能模型,国内官方政策文件使用这个词相对科学,涵盖了LLM和AIGC。AGI:指通用人工智能,部分人觉得LLM具有AGI潜力,LeCun反对。公众传播一般会混用上述名词,但底层是transformer结构。(stable diffusion原采用LDM+UNet,后来改为DiT)而transformer底层是function loss损失函数Transformer是一个大参数(千亿级别)的回归方程。回归方程的Function loss拟合A to B mapping关系,实现数据集的压缩与还原。Transformer是在一定prompt condition情况下,repeat曾经出现过的数据内容,实现“生成”能力。大语言模型的智能体验在两个数据集压缩后,能解释两个数据集之间地带的“连续”能力。(Ilya)所以大语言模型是一个perfect memory,repeat曾经出现的内容。它与Alpha Go差异:Alpha Go是一个增强学习模型,学习结果会调整模型自身参数Alpha Go有推理能力,但大语言模型这块很弱。Transformer决定LLM是一个生成式模型。
[@宝玉(@dotey)](https://x.com/dotey)日报1⃣️🌟罗福莉:95后AI天才少女,DeepSeek-V2核心开发者毕业于北京师范大学,硕士保送北京大学计算语言学,ACL顶会8篇论文作者;曾任职于阿里达摩院并主导VECO模型开发,2022年加入DeepSeek,深度参与MoE架构大模型DeepSeek-V2的研发。传闻雷军曾以千万年薪邀其加盟小米AI团队,但截至2025年2月仍未决定,展示了她在突破资源限制、目标拆解与死磕精神下,成为国产AI崛起青年科学家的励志历程。🔗[详情](https://x.com/dotey/status/1886101672625049924)2⃣️🛠重构代码的核心要点:测试先行,集成测试为重强调在重构前必须补足测试,其中单元测试可以适度,但集成测试必须覆盖主要业务场景,以确保代码变更的稳定性。推荐使用Feature Flags或实验功能进行灰度发布,先小范围测试确保故障率可控,再逐步推广,如遇问题可迅速回滚。🔗[详情](https://x.com/dotey/status/1885907119657898285)3⃣️🤔科技创新的“五个阶段”vs.自负的硅谷心态描述了科技创新中的五个心理阶段:从“小圈子症候群”到“我们的想法才是最棒的”,再到“他们一定是作弊了”,最终意识到合作的重要性。指出硅谷过度自负的现象,认为真正的技术突破源于开放与合作,而非封闭排他;网友调侃如果竞争不过,就限制甚至禁用对手的获取。🔗[详情](https://x.com/dotey/status/1885877336764997958)>>更多详细内容查看[宝玉日报](https://waytoagi.feishu.cn/wiki/RleQwkybeiZ2jfkaQdgcIrrdnRd)