「AGIへの道」飛書ナレッジベースへ直行 →
ホーム/質問リスト/質問詳細

2. Transformer

回答

Transformer 是自然语言处理领域中的一种重要模型架构。以下是一些与 Transformer 相关的内容：

  • 在“皇子：LLM 经典论文速读版，看完感觉自己通透了”中，Transformer 是众多被讨论的模型之一，与 GPT-1、BERT 等一同被提及。
  • 在“Sora：大型视觉模型的背景、技术、局限性和机遇综述【官方论文】”中，从核心本质上看，Sora 是一个具有灵活采样维度的扩散变压器。
  • 在“机器之心的进化/理解 AI 驱动的软件 2.0 智能革命”中，有众多与 Transformer 相关的参考资料，如“Attention Is All You Need”论文等。
AIモデルによって生成されたコンテンツであり、慎重に確認してください（提供元: aily）

参照

皇子：LLM经典论文速读版，看完感觉自己通透了

[title]皇子：LLM经典论文速读版，看完感觉自己通透了[heading2]1.Transformer[heading2]2.GPT-1[heading2]3.BERT[heading2]4.Transformer-XL[heading2]5.GPT-2[heading2]6.ERNIE[heading2]7.DistilBERT[heading2]8.T5[heading2]9.Retrieval-Augmented Generation(RAG)[heading2]10.GPT-3[heading2]11.AutoPrompt[heading2]12.Rotary Position Embedding[heading2]13.LoRA[heading2]14.Codex[heading2]15.FLAN[heading2]16.GLaM[heading2]17.WebGPT[heading2]18.Chain-of-Thought（CoT）[heading2]19.PaLM[heading2]20.InstructGPT[heading2]21.Verify Step by Step[heading2]22.LLM.int8()[heading2]23.ReAct[heading2]24.Toolformer[heading2]25.LLaMA[heading2]26.GPT-4[heading2]27.QLoRA[heading2]28.Phi-1[heading2]29.RLAIF[heading2]30.Superalignment

Sora：大型视觉模型的背景、技术、局限性和机遇综述 【官方论文】

从核心本质上看，Sora是一个具有灵活采样维度的扩散变压器[4]，如图4所示。它有三个部分：（1）时空压缩器首先将原始视频映射到潜在空间。（2）ViT然后处理标记化的潜在表示，并输出去噪的潜在表示。（3）类似CLIP[26]的条件机制接收LLM增强的用户指令和可能的视觉提示，以指导扩散模型生成风格化或主题化的视频。经过多次去噪图4：逆向工程：Sora框架概览在这一步骤中，生成视频的潜在表示被获得，然后通过相应的解码器映射回像素空间。在本节中，我们的目标是对Sora使用的技术进行逆向工程，并讨论广泛的相关工作。

机器之心的进化 / 理解 AI 驱动的软件 2.0 智能革命

Letter from Alan Turing to W Ross Ashby-Alan Mathison TuringSoftware 2.0-Andrej KarpathyThe Rise of Software 2.0-Ahmad MustaphaInfrastructure 3.0:Building blocks for the AI revolution-Lenny Pruss,Amplify PartnersWill Transformers Take Over Artificial Intelligence?-Stephen OrnesAI Revolution-Transformers and Large Language Models(LLMs)-Elad GilWhat Is a Transformer Model?-RICK MERRITT[AI时代的巫师与咒语](https://mp.weixin.qq.com/s?__biz=MzI3NDQzNTk2Mw==&mid=2247484347&idx=1&sn=ce81d3c4532660d3bbbf675f71246f48&scene=21#wechat_redirect)-Rokey ZhangGenerative AI:A Creative New World-SONYA HUANG,PAT GRADY AND GPT-3What Real-World AI From Tesla Could Mean-CleanTechNicaA Look at Tesla's Occupancy Networks-Think AutonomousBy Exploring Virtual Worlds,AI Learns in New Ways-Allison WhittenSelf-Taught AI Shows Similarities to How the Brain Works-Anil AnanthaswamyHow Transformers Seem to Mimic Parts of the Brain-Stephen OrnesAttention Is All You Need-PAPER by Ashish Vaswani,Noam Shazeer,Niki Parmar,Jakob Uszkoreit,Llion Jones,Aidan N.Gomez,Lukasz Kaiser,Illia PolosukhinOn the Opportunities and Risks of Foundation Models-PAPER by CRFM&HAI of Stanford UniversityMaking Things Think-BOOK by Giuliano GiacagliaA Thousand Brains（中文版：千脑智能）-BOOK by Jeff Hawkins

他の質問
通义千问Qwen2.5-VL、阶跃星辰step-1.5v-mini、Gemini-2.0-Flash，这3个视觉理解大模型哪个最厉害？
以下是对通义千问 Qwen2.5VL 模型的介绍： 版本：有 3B、7B 和 72B 三个尺寸版本。 主要优势： 视觉理解能力：在 13 项权威评测中夺得视觉理解冠军，全面超越 GPT4o 与 Claude3.5。 视频理解能力：支持超 1 小时的视频理解，无需微调即可变身为 AI 视觉智能体，实现多步骤复杂操作。 万物识别：擅长识别常见物体及分析图像中的文本、图表、图标、图形和布局。 精准的视觉定位：采用矩形框和点的多样化方式对通用物体定位，支持层级化定位和规范的 JSON 格式输出。 全面的文字识别和理解：提升 OCR 识别能力，增强多场景、多语言和多方向的文本识别和文本定位能力。 Qwen 特色文档解析：设计了更全面的文档解析格式，称为 QwenVL HTML 格式，能够精准还原文档中的版面布局。 增强的视频理解：引入动态帧率（FPS）训练和绝对时间编码技术，支持小时级别的超长视频理解，具备秒级的事件定位能力。 开源平台： Huggingface：https://huggingface.co/collections/Qwen/qwen25vl6795ffac22b334a837c0f9a5 Modelscope：https://modelscope.cn/collections/Qwen25VL58fbb5d31f1d47 Qwen Chat：https://chat.qwenlm.ai 然而，对于阶跃星辰 step1.5vmini 和 Gemini2.0Flash 模型，目前提供的信息中未包含其与通义千问 Qwen2.5VL 模型的直接对比内容，因此无法确切判断哪个模型在视觉理解方面最厉害。但从通义千问 Qwen2.5VL 模型的上述特点来看，其在视觉理解方面具有较强的能力和优势。
2025-04-15
gemini-2.5目前是什么水平
Gemini 2.5 是一款全能思考模型，具有以下特点和优势： 多领域达到 SOTA 水平，逻辑、代码、任务处理能力大幅提升。 支持 100 万 tokens 上下文，具备强大的阅读能力。 统一架构原生多模态支持，图文音码协同处理，并非外挂而是原生融合。 您可以通过以下链接获取更多详细信息：https://www.xiaohu.ai/c/xiaohuai/googlegemini25proexperimental
2025-04-13
问题定义： 1. 核心问题陈述：创作一份个人参赛的、以光伏业务中财务工作与AI结合进行业务赋能为主题的展示类参赛方案框架。 2. 关键上下文信息：公司举办AI创新大赛，个人参赛，主题方向为工作和AI结合限定在业务赋能，公司业务是光伏领域。 3. 问题的具体范围界定：聚焦光伏业务中财务工作与AI结合进行业务赋能的展示方案框架创作。 答案要求： 1. 内容范围： - 必须包含：整体参赛方案思路、光伏财务业务与AI结合的具体方向、展示方案大致框架。
很抱歉，您提供的知识库内容中没有与光伏业务中财务工作与 AI 结合进行业务赋能的参赛方案框架相关的信息。但以下是为您生成的一个可能的参赛方案框架示例： 一、整体参赛方案思路 本次参赛方案旨在探索如何将 AI 技术应用于光伏业务中的财务工作，以实现更高效、精准和智能化的业务赋能。通过深入分析光伏行业的特点和财务工作的需求，结合先进的 AI 技术，提出创新的解决方案，提升财务工作的效率和质量，为公司的光伏业务发展提供有力支持。 二、光伏财务业务与 AI 结合的具体方向 1. 财务预测与分析 利用机器学习算法对光伏项目的成本、收益进行预测，为投资决策提供数据支持。 分析市场趋势和政策变化对财务状况的影响，提前制定应对策略。 2. 风险评估与管理 运用大数据和人工智能技术，对光伏项目的风险进行实时监测和评估。 建立风险预警模型，及时发现潜在的财务风险。 3. 成本优化与控制 通过智能算法优化供应链管理，降低采购成本。 分析生产过程中的能耗数据，实现成本的精细化控制。 4. 财务报表自动化生成与审计 利用自然语言处理技术自动生成财务报表，提高工作效率。 运用 AI 辅助审计，提高审计的准确性和效率。 三、展示方案大致框架 1. 项目背景与目标 介绍光伏行业的发展现状和公司的业务情况。 阐述将财务工作与 AI 结合的目标和意义。 2. 技术方案与实现 详细介绍所采用的 AI 技术和算法。 展示技术方案的实现过程和关键步骤。 3. 应用案例与效果 分享实际应用案例，展示 AI 在财务工作中的具体应用场景。 分析应用效果，如成本降低、效率提升、风险控制等方面的成果。 4. 未来展望与挑战 展望 AI 在光伏财务领域的未来发展趋势。 探讨可能面临的挑战及应对策略。 5. 总结与结论 总结方案的核心内容和创新点。 强调对公司光伏业务的价值和贡献。 以上框架仅供参考，您可以根据实际情况进行进一步的细化和完善。
2025-03-28
1. 利用AI完成技术论文的学习阅读； 2. 结合相关知识体系解读论文，并制作成学习分享PPT。
以下是关于利用 AI 完成技术论文的学习阅读，并结合相关知识体系解读论文制作学习分享 PPT 的一些建议： 在技术论文学习阅读方面： 可以借助 AI 工具，如 Claude 和 Gamma.app。Claude 能够帮助快速寻找符合条件的论文、提取精炼论文中某部分信息。 对于复杂推理，可以利用思维链，谷歌在 2022 年的论文提到其能显著提升大语言模型在复杂推理的能力，即使不用小样本提示，也可在问题后加“请你分步骤思考”。 检索增强生成（RAG）能将外部知识库切分成段落后转成向量，存在向量数据库。用户提问并查找到向量数据库后，段落信息会和原本的问题一块传给 AI，可搭建企业知识库和个人知识库。 程序辅助语言模型（PAL）在 2022 年的论文中被提出，对于语言模型的计算问题，可借助其他工具如 Python 解释器作为计算工具。 ReAct 框架于 2022 年在《React:在语言模型中协同推理与行动》的论文中提出，即 reason 与 action 结合，让模型动态推理并采取行动与外界环境互动，可借助 LangChain 等框架简化构建流程。 在制作学习分享 PPT 方面： 可以先对论文进行深入理解，提取关键信息，包括摘要描述、研究问题、基本假设、实验方法、实验结论、文章主要结论、研究展望等。 利用 AI 工具获取相关理论的简单介绍。 了解并使用合适的 PPT 制作工具，如 Gamma.app。 需要注意的是，小白直接看技术论文有难度，需要一定的知识储备。同时，Transformer 是仿生算法的阶段性实现，未来 10 年、20 年可能不再被使用。
2025-03-24
OpenAI o1、Claude Sonnet 3.7、Gemini 2.0 pro 哪个 AI 搜索能力更强？
OpenAI o1、Claude Sonnet 3.7 和 Gemini 2.0 pro 在不同方面具有各自的优势，难以简单地比较哪个的搜索能力更强。 OpenAI o1 推理能力强，适合作为架构师或算法顾问。 Claude Sonnet 3.7 擅长长上下文任务，在快速生成代码与网页设计方面表现出色。 Gemini 2.0 pro 长上下文支持较好（2M Tokens），适合代码反编译与混淆代码分析。 具体的搜索能力表现还会受到应用场景和具体任务的影响。
2025-03-21
吴恩达总结了四种AI Agent的设计模式： 1.反思模式（Reflection）： 2.工具使用模式： 3.规划模式： 4.多智能体协作模式：
吴恩达总结了以下四种 AI Agent 的设计模式： 1. 反思模式（Reflection）：让 Agent 审视和修正自己生成的输出。例如，在编写代码时，可让大模型检查代码的准确性和结构规范性，并不断优化。 2. 工具使用模式（Tool Use）：通过使用外部工具和资源，如 LLM 生成代码、调用 API 等进行实际操作。 3. 规划模式（Planning）：让 Agent 分解复杂任务并按计划执行。 4. 多智能体协作模式（Multiagent Collaboration）：多个 Agent 扮演不同角色合作完成任务。 如果您想更深入了解这些设计模式，可以参考以下文章：https://waytoagi.feishu.cn/wiki/SPNqwJkmQiyVfGkS8zocMSZcnYd
2025-03-19
什么是Transformer，它的工作流程是什么样
Transformer 是一种在自然语言处理中广泛应用的模型，其工作流程如下： 1. 输入嵌入（Input Embeddings）：将每个单词映射为一个向量，即单词嵌入（word embeddings）。例如，“I”映射为一个 512 维的向量。 2. 位置编码（Positional Encodings）：由于 Transformer 没有递归或卷积等捕获序列顺序的结构，所以需要给每个词位置加上位置编码，使模型知道词语的相对位置。 3. 编码器（Encoder）：输入序列的嵌入向量和位置编码相加后被送入编码器层。编码器由多个相同的层组成，每层有两个核心部分： 多头注意力机制（MultiHead Attention）：捕捉单词间的依赖关系。 前馈神经网络（FeedForward NN）：对 attention 的结果进行进一步编码。 4. 解码器（Decoder）：编码器的输出被送入解码器层。解码器也是由多个相同层组成，每层除了编码器组件外，还有一个额外的注意力模块，对编码器的输出序列建模依赖关系。 5. 输出嵌入（Output Embeddings）：解码器最后一层的输出被映射为输出单词概率分布。例如生成单词“我”“是”等概率。 6. 生成（Generation）：基于概率分布，以贪婪或 beam search 等解码策略生成完整的输出序列。 注意力机制是 Transformer 最关键的创新，允许模型捕获长距离依赖关系。多头注意力可并行计算，因此高效。残差连接和层归一化则有助于优化网络。整体上，Transformer 无递归和卷积结构，计算并行化程度高，更适合并行加速。 位置编码方面，Transformer 通过一种称为位置编码的创新方法绕过了语序理解的障碍。其思路是将输入序列中的所有单词（如一个英语句子）在每个单词后面加上一个数字，表明它的顺序。从概念上讲，把理解语序的重担从神经网络的结构转移到数据本身。起初，在对 Transformer 进行任何数据训练之前，它并不知道如何解释这些位置编码。但是随着模型看到越来越多的句子和它们的编码，它学会了如何有效地使用它们。最初的作者使用正弦函数来进行位置编码，而不是简单的整数 1、2、3、4，但要点是相同的。将语序存储为数据，而不是靠网络结构，这样神经网络就更容易训练了。
2025-03-21
transformer是通往AGI的必经之路吗？什么是世界模型，当前有哪些进展
Transformer 并非通往 AGI 的必经之路。在已知的 token space 中，Transformer 符合一些条件，但在更通用的场景中不太符合。AI 本质包含一堆 scaling law，一个值得被 scale up 的架构是基础，且架构要支持不断加入更多数据。当前在数据方面，如限定问题的数据生成有进展，但通用问题还没有完全的解法。 世界模型方面，目前的研究正在以指数级别的速度增长。对于语言这种有结构、有规则的指令系统，其逻辑受指向描述变化，如早期语言模型建模中用到的 RNN、LSTM 及当前 LLM 的 Transformer 模型结构，都是对语言序列性所体现逻辑结构的适配。同时也在思考是否存在其他形式的符号化表征及相应的建模结构，以及对于非碳基生物语言的使用情况等。未来通往 AGI 的道路并非简单，需要探寻 RL 与 LLM 的本质普遍性。
2025-03-16
Transformer模型
Transformer 模型是一种基于注意力机制的深度学习模型，由 Vaswani 等人在论文《Attention is All You Need》中提出，用于处理序列到序列的任务，如机器翻译、文本摘要等。其原理主要包括以下几个关键点： 1. 自注意力机制：能够同时考虑输入序列中所有位置的信息，而非像循环神经网络或卷积神经网络一样逐个位置处理。通过自注意力机制，模型可根据输入序列中不同位置的重要程度，动态分配注意力权重，从而更好地捕捉序列中的关系和依赖。 2. 位置编码：由于自注意力机制不考虑输入序列的位置信息，为使模型能够区分不同位置的词语，Transformer 模型引入了位置编码。位置编码是一种特殊的向量，与输入词向量相加，用于表示词语在序列中的位置信息。位置编码通常基于正弦和余弦函数计算得到的固定向量，可帮助模型学习到位置信息的表示。 3. 多头注意力机制：通过引入多头注意力机制，可以并行地学习多个注意力表示，从不同的子空间中学习不同的特征表示。每个注意力头都是通过将输入序列线性变换成查询、键和值向量，并计算注意力分数，然后将多个头的输出拼接在一起得到最终的注意力表示。 4. 残差连接和层归一化：在每个子层（SelfAttention 层和前馈神经网络层）的输入和输出之间都引入了残差连接，并对输出进行层归一化。残差连接可缓解梯度消失和梯度爆炸问题，使得模型更容易训练和优化；层归一化可加速训练过程，并提高模型的泛化能力。 5. 位置感知前馈网络：在每个注意力子层之后，Transformer 模型还包含了位置感知前馈网络，它是一个两层的全连接前馈神经网络，用于对注意力表示进行非线性转换和映射。位置感知前馈网络在每个位置独立地进行计算，提高了模型的并行性和计算效率。 Transformer 模型主要由两大部分组成：编码器和解码器。每个部分都是由多个相同的层堆叠而成，每层包含了多头注意力机制和位置全连接前馈网络。 编码器可以理解为将自然语言转换成向量文本，以模型内的既有参数表示。这些参数包含了原始信息，同时也融合了序列内元素间的相互关系。例如，输入“我喜欢猫”，将自然语言转换成词嵌入向量：我>，经过自注意力机制，输出编码器输出一个序列的向量，表示对输入句子的理解。 解码器基于编码器的输出和之前生成的输出逐步生成目标序列，也就是把向量文本重新转化成自然语言。例如，目标生成中文句子“我喜欢猫”，初始输入为解码器接收一个开始符号，用，对应“猫”。这是一个简单的复现概念，当模型得到匹配度高的参数时，它就会一个词一个词地判断需要输出的语言文本。
2025-03-14
Transformer 架构
Transformer 架构主要由编码器（Encoder）和解码器（Decoder）两大部分组成。 编码器可以将自然语言转换成向量文本，其内部参数包含了原始信息以及序列内元素间的相互关系。例如，输入“我喜欢猫”，会将自然语言转换成词嵌入向量，如“我”对应，然后通过自注意力机制输出一个表示对输入句子理解的向量序列。 解码器基于编码器的输出和之前生成的输出逐步生成目标序列，将向量文本重新转化成自然语言。例如生成中文句子“我喜欢猫”，解码器接收开始符号，然后逐步根据编码器输出和已生成的词决定生成后续的词。 Transformer 是一种使用注意力机制的编码器解码器模型，其模型架构使得它可以利用多元化的优势，同时处理大量数据，有助于提高机器翻译等应用程序的性能。 此外，Transformer 架构能够并行处理大量数据吞吐，且满足 scaling law，在各个模态和技术栈具有优势，被 OpenAI 广泛使用。使用同样的架构可以复用模型的参数来引导不同技术栈的训练，以及使用一套 infra 框架训练不同的模型。
2025-03-14
transformer
Transformer 是一种深度学习模型，其核心思想是“Attention is all you need”，来源于 2017 年 Google Brain 团队发布的同名论文，主要用于处理序列数据，包括热门的 NLP 任务，完全基于注意力机制，不使用传统的 RNN 或 CNN 计算架构。 其工作流程如下： 1. 输入嵌入：将每个单词映射为一个向量，即单词嵌入。例如“ I ”映射为一个 512 维的向量。 2. 位置编码：由于 Transformer 没有捕获序列顺序的结构，需给每个词位置加上位置编码，使模型知道词语的相对位置。 3. 编码器：输入序列的嵌入向量和位置编码相加后被送入编码器层。编码器由多个相同的层组成，每层有两个核心部分，多头注意力机制捕捉单词间的依赖关系，前馈神经网络对 attention 的结果进行进一步编码。 4. 解码器：编码器的输出被送入解码器层。解码器也是由多个相同层组成，每层除了编码器组件外，还有一个额外的注意力模块，对编码器的输出序列建模依赖关系。 5. 输出嵌入：解码器最后一层的输出被映射为输出单词概率分布。例如生成单词“我”“是”等概率。 6. 生成：基于概率分布，以贪婪或 beam search 等解码策略生成完整的输出序列。 Transformer 模型用途广泛，可以用来翻译文本、写诗、写文章，甚至生成计算机代码。像 AlphaFold 2、GPT3、BERT、T5、Switch、Meena 等强大的自然语言处理（NLP）模型都建立在 Transformer 基础之上。如果想在机器学习，特别是自然语言处理方面与时俱进，至少要对 Transformer 有一定了解。
2025-03-13
Transformer是什么？
Transformer 是一种注意力模型，也被称为变形金刚模型。它源于 Google 团队在 2017 年发布的论文《Attention is All Your Needs》。 Transformer 是一种深度学习模型，核心思想是“Attention is all you need”。其主要用于处理序列数据，包括当下热门的自然语言处理（NLP）任务。与传统模型不同，Transformer 完全基于注意力机制，不依赖传统的循环神经网络（RNN）或卷积神经网络（CNN）的计算架构。 基于 Transformer 的模型众多，例如最流行的 BERT，它是“来自 Transformer 的双向编码器表示”的缩写。BERT 经过在庞大文本语料库上的训练，已成为自然语言处理的通用模型，可用于文本摘要、问答、分类、命名实体识别、文本相似度、攻击性信息/脏话检测、理解用户查询等一系列任务。 此外，Transformer 不仅在自然语言处理领域表现出色，还在自然语言处理之外的领域掀起浪潮，如作曲、根据文本描述生成图像以及预测蛋白质结构。像 ChatGPT 这样的模型在闲聊中也能展现出更多的世界知识和某种程度的推理能力，能够更好地理解人类语言的含义和上下文，并生成更自然流畅的语言表达。
2025-03-06