Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

LSTM/Transformer/GAN等AI技术分别是指

Answer

LSTM（Long Short-Term Memory）是一种特殊的循环神经网络（RNN），能够处理长序列数据中的长期依赖关系。

Transformer 是一种完全基于自注意力机制（Self-Attention）来处理序列数据的模型，不依赖于循环神经网络（RNN）或卷积神经网络（CNN），比 RNN 更适合处理文本的长距离依赖性。

GAN（Generative Adversarial Network）即生成对抗网络，由生成器和判别器组成，通过两者的对抗训练来生成新的数据。

Content generated by AI large model, please carefully verify (powered by aily)

References

【AI学习笔记】小白如何理解技术原理与建立框架（通俗易懂内容推荐）

一、视频一主要回答了什么是AI大模型，原理是什么。1、概念：生成式AI生成的内容，叫做AIGC2、概念与关系：相关技术名词1）AI——人工智能2）机器学习——电脑找规律学习，包括监督学习、无监督学习、强化学习。3）监督学习——有标签的训练数据，算法的目标是学习输入和输出之间的映射关系。包括分类和回归。4）无监督学习——学习的数据没有标签，算法自主发现规律。经典任务包括聚类，比如拿一堆新闻文章，让模型根据主题或内容特征分成具有相似特征的组。5）强化学习——从反馈里学习，最大化奖励或最小化损失；类似训小狗。6）深度学习——一种方法，参照人脑有神经网络和神经元（因为有很多层所以叫深度）。神经网络可以用于监督学习、无监督学习、强化学习。7）生成式AI——可以生成文本、图片、音频、视频等内容形式8）LLM——大语言模型。对于生成式AI，其中生成图像的扩散模型就不是大语言模型；对于大语言模型，生成只是其中一个处理任务，比如谷歌的BERT模型，可用于语义理解（不擅长文本生成），如上下文理解、情感分析、文本分类；3、技术里程碑——2017年6月，谷歌团队发表论文《Attention is All You Need》。这篇论文首次提出了Transformer模型，它完全基于自注意力机制（Self-Attention）来处理序列数据，而不需要依赖于循环神经网络（RNN）或卷积神经网络（CNN）。GPT含义：Transformer是关键。Transformer比RNN更适合处理文本的长距离依赖性。

【AI学习笔记】小白如何理解技术原理与建立框架（通俗易懂内容推荐）

一、视频一主要回答了什么是AI大模型，原理是什么。1、概念：生成式AI生成的内容，叫做AIGC2、概念与关系：相关技术名词1）AI——人工智能2）机器学习——电脑找规律学习，包括监督学习、无监督学习、强化学习。3）监督学习——有标签的训练数据，算法的目标是学习输入和输出之间的映射关系。包括分类和回归。4）无监督学习——学习的数据没有标签，算法自主发现规律。经典任务包括聚类，比如拿一堆新闻文章，让模型根据主题或内容特征分成具有相似特征的组。5）强化学习——从反馈里学习，最大化奖励或最小化损失；类似训小狗。6）深度学习——一种方法，参照人脑有神经网络和神经元（因为有很多层所以叫深度）。神经网络可以用于监督学习、无监督学习、强化学习。7）生成式AI——可以生成文本、图片、音频、视频等内容形式8）LLM——大语言模型。对于生成式AI，其中生成图像的扩散模型就不是大语言模型；对于大语言模型，生成只是其中一个处理任务，比如谷歌的BERT模型，可用于语义理解（不擅长文本生成），如上下文理解、情感分析、文本分类；3、技术里程碑——2017年6月，谷歌团队发表论文《Attention is All You Need》。这篇论文首次提出了Transformer模型，它完全基于自注意力机制（Self-Attention）来处理序列数据，而不需要依赖于循环神经网络（RNN）或卷积神经网络（CNN）。GPT含义：Transformer是关键。Transformer比RNN更适合处理文本的长距离依赖性。

【AI学习笔记】小白如何理解技术原理与建立框架（通俗易懂内容推荐）

一、视频一主要回答了什么是AI大模型，原理是什么。1、概念：生成式AI生成的内容，叫做AIGC2、概念与关系：相关技术名词1）AI——人工智能2）机器学习——电脑找规律学习，包括监督学习、无监督学习、强化学习。3）监督学习——有标签的训练数据，算法的目标是学习输入和输出之间的映射关系。包括分类和回归。4）无监督学习——学习的数据没有标签，算法自主发现规律。经典任务包括聚类，比如拿一堆新闻文章，让模型根据主题或内容特征分成具有相似特征的组。5）强化学习——从反馈里学习，最大化奖励或最小化损失；类似训小狗。6）深度学习——一种方法，参照人脑有神经网络和神经元（因为有很多层所以叫深度）。神经网络可以用于监督学习、无监督学习、强化学习。7）生成式AI——可以生成文本、图片、音频、视频等内容形式8）LLM——大语言模型。对于生成式AI，其中生成图像的扩散模型就不是大语言模型；对于大语言模型，生成只是其中一个处理任务，比如谷歌的BERT模型，可用于语义理解（不擅长文本生成），如上下文理解、情感分析、文本分类；3、技术里程碑——2017年6月，谷歌团队发表论文《Attention is All You Need》。这篇论文首次提出了Transformer模型，它完全基于自注意力机制（Self-Attention）来处理序列数据，而不需要依赖于循环神经网络（RNN）或卷积神经网络（CNN）。GPT含义：Transformer是关键。Transformer比RNN更适合处理文本的长距离依赖性。

Others are asking
GAN生成对抗网络
GAN 生成对抗网络是一种无监督的生成模型框架，通过让两个神经网络相互博弈来进行机器学习。它具有以下特点和应用： 特点： 能够生成视觉逼真度高的视频。 控制难度大、时序建模较弱。 与 VAE 变分自编码器、Transformer 自注意力机制等相比，GAN 生成视频速度快，但生成质量和分辨率较低，长度短，控制能力弱。 应用： 可以帮助神经网络用更少的数据进行学习，生成更多的合成图像。 有助于创建图像，还可以创建现实世界的软件模拟，如 Nvidia 大量采用这种技术来增强其现实模拟系统。 同时，当前端到端视频生成仍面临生成时间长、视频质量不稳定、生成的视频语义不连贯、帧间存在闪烁、分辨率较低等问题。针对这些问题，可使用渐进生成、增强时序一致性的模型等方法，以及上述的补帧算法、视频完善策略来在一定程度上缓解。
2024-12-18
GAN
RAG（RetrievalAugmented Generation，检索增强生成）是一种结合了检索和生成的技术。 AI 大模型在生成文本时，其知识通常基于训练时使用的公开数据。若想构建能利用私有数据或实时数据进行推理的 AI 应用，就需要特定信息来增强模型知识，这便是 RAG。 RAG 的基本流程为：首先，针对用户输入（如问题或话题），从数据源（如网页、文档、数据库记录）中检索出相关文本片段，这些片段称为上下文。然后，将用户输入和检索到的上下文拼接成完整输入传递给大模型（如 GPT），输入通常包含提示，指导模型生成期望输出（如答案或摘要）。最后，从大模型输出中提取或格式化所需信息返回给用户。 RAG 由检索器和生成器两部分组成，检索器从外部知识中快速找到与问题相关的信息，生成器利用这些信息制作精确连贯的答案，非常适合处理需要广泛知识的任务，如问答系统，能提供详细准确的回答。
2024-12-18
生成对抗网络 GAN
生成对抗网络（GAN）是一种在 AI 领域非常重要的模型。 GAN 是一种无监督的生成模型框架，通过让两个神经网络相互博弈来进行机器学习。其中一个神经网络（生成器）负责创建图像，另一个神经网络（鉴别器）预测图像是真实的还是伪造的。随着时间的推移，鉴别器变得越来越擅长区分真伪，而生成器则越来越擅长创建逼真的图像。 GAN 在图像生成领域极为引人注目，例如您可能已经听说过的“DeepFake”便是基于这一技术。同时，GAN 也可用于生成视觉逼真度高的视频，但存在控制难度大、时序建模较弱的问题。此外，GAN 生成视频速度快，但生成质量和分辨率较低，长度短，控制能力弱。 GAN 诞生于 2014 年，是 Deep Learning 领域的重要里程碑，它可以帮助神经网络用更少的数据进行学习，生成更多的合成图像，然后用来识别和创建更好的神经网络。GAN 的创造者 Ian Goodfellow 是在蒙特利尔的一个酒吧里想出这个主意的，它由两个神经网络玩着猫捉老鼠的游戏，一个创造出看起来像真实图像的假图像，而另一个则决定它们是否是真的。GAN 不仅有助于创建图像，还可以创建现实世界的软件模拟，Nvidia 就大量采用这种技术来增强他的现实模拟系统。 相关的学习资源包括： 课程地址：https://www.cloudskillsboost.google/course_templates/541 视频学习：https://youtu.be/J0AuVBxzui0
2024-12-11
搜索DragGAN
DragGAN 于 2023 年 6 月 25 日开源。喜欢 AI 绘画的对它应该不陌生，期待它带来更大的惊艳。此外，相关论文中增加了微软研究院新发布的多模态 AI 助手；学习路径中增加了适合初学者的深度学习课程 fast.ai ；AI 名词增加到 80 多个，补充了很多技术名词。您可以通过以下链接获取更多详细信息：
2024-11-11
能用简单易懂的方法给我讲一下生成对抗网络GAN的原理和工作流程吗
好的，生成对抗网络（GAN）是一种深度学习模型，由两个神经网络构成：生成器和判别器。生成器的任务是创建新的、看起来像真实数据的样本，而判别器的任务是区分生成的样本和真实的数据样本。这两个网络相互对抗，生成器试图欺骗判别器，而判别器试图不被欺骗。这个过程导致生成器逐渐学会生成越来越逼真的样本。
2024-04-22
什么是Transformer，它的工作流程是什么样
Transformer 是一种在自然语言处理中广泛应用的模型，其工作流程如下： 1. 输入嵌入（Input Embeddings）：将每个单词映射为一个向量，即单词嵌入（word embeddings）。例如，“I”映射为一个 512 维的向量。 2. 位置编码（Positional Encodings）：由于 Transformer 没有递归或卷积等捕获序列顺序的结构，所以需要给每个词位置加上位置编码，使模型知道词语的相对位置。 3. 编码器（Encoder）：输入序列的嵌入向量和位置编码相加后被送入编码器层。编码器由多个相同的层组成，每层有两个核心部分： 多头注意力机制（MultiHead Attention）：捕捉单词间的依赖关系。 前馈神经网络（FeedForward NN）：对 attention 的结果进行进一步编码。 4. 解码器（Decoder）：编码器的输出被送入解码器层。解码器也是由多个相同层组成，每层除了编码器组件外，还有一个额外的注意力模块，对编码器的输出序列建模依赖关系。 5. 输出嵌入（Output Embeddings）：解码器最后一层的输出被映射为输出单词概率分布。例如生成单词“我”“是”等概率。 6. 生成（Generation）：基于概率分布，以贪婪或 beam search 等解码策略生成完整的输出序列。 注意力机制是 Transformer 最关键的创新，允许模型捕获长距离依赖关系。多头注意力可并行计算，因此高效。残差连接和层归一化则有助于优化网络。整体上，Transformer 无递归和卷积结构，计算并行化程度高，更适合并行加速。 位置编码方面，Transformer 通过一种称为位置编码的创新方法绕过了语序理解的障碍。其思路是将输入序列中的所有单词（如一个英语句子）在每个单词后面加上一个数字，表明它的顺序。从概念上讲，把理解语序的重担从神经网络的结构转移到数据本身。起初，在对 Transformer 进行任何数据训练之前，它并不知道如何解释这些位置编码。但是随着模型看到越来越多的句子和它们的编码，它学会了如何有效地使用它们。最初的作者使用正弦函数来进行位置编码，而不是简单的整数 1、2、3、4，但要点是相同的。将语序存储为数据，而不是靠网络结构，这样神经网络就更容易训练了。
2025-03-21
Transformer模型
Transformer 模型是一种基于注意力机制的深度学习模型，由 Vaswani 等人在论文《Attention is All You Need》中提出，用于处理序列到序列的任务，如机器翻译、文本摘要等。其原理主要包括以下几个关键点： 1. 自注意力机制：能够同时考虑输入序列中所有位置的信息，而非像循环神经网络或卷积神经网络一样逐个位置处理。通过自注意力机制，模型可根据输入序列中不同位置的重要程度，动态分配注意力权重，从而更好地捕捉序列中的关系和依赖。 2. 位置编码：由于自注意力机制不考虑输入序列的位置信息，为使模型能够区分不同位置的词语，Transformer 模型引入了位置编码。位置编码是一种特殊的向量，与输入词向量相加，用于表示词语在序列中的位置信息。位置编码通常基于正弦和余弦函数计算得到的固定向量，可帮助模型学习到位置信息的表示。 3. 多头注意力机制：通过引入多头注意力机制，可以并行地学习多个注意力表示，从不同的子空间中学习不同的特征表示。每个注意力头都是通过将输入序列线性变换成查询、键和值向量，并计算注意力分数，然后将多个头的输出拼接在一起得到最终的注意力表示。 4. 残差连接和层归一化：在每个子层（SelfAttention 层和前馈神经网络层）的输入和输出之间都引入了残差连接，并对输出进行层归一化。残差连接可缓解梯度消失和梯度爆炸问题，使得模型更容易训练和优化；层归一化可加速训练过程，并提高模型的泛化能力。 5. 位置感知前馈网络：在每个注意力子层之后，Transformer 模型还包含了位置感知前馈网络，它是一个两层的全连接前馈神经网络，用于对注意力表示进行非线性转换和映射。位置感知前馈网络在每个位置独立地进行计算，提高了模型的并行性和计算效率。 Transformer 模型主要由两大部分组成：编码器和解码器。每个部分都是由多个相同的层堆叠而成，每层包含了多头注意力机制和位置全连接前馈网络。 编码器可以理解为将自然语言转换成向量文本，以模型内的既有参数表示。这些参数包含了原始信息，同时也融合了序列内元素间的相互关系。例如，输入“我喜欢猫”，将自然语言转换成词嵌入向量：我>，经过自注意力机制，输出编码器输出一个序列的向量，表示对输入句子的理解。 解码器基于编码器的输出和之前生成的输出逐步生成目标序列，也就是把向量文本重新转化成自然语言。例如，目标生成中文句子“我喜欢猫”，初始输入为解码器接收一个开始符号，用，对应“猫”。这是一个简单的复现概念，当模型得到匹配度高的参数时，它就会一个词一个词地判断需要输出的语言文本。
2025-03-14
Transformer 架构
Transformer 架构主要由编码器（Encoder）和解码器（Decoder）两大部分组成。 编码器可以将自然语言转换成向量文本，其内部参数包含了原始信息以及序列内元素间的相互关系。例如，输入“我喜欢猫”，会将自然语言转换成词嵌入向量，如“我”对应，然后通过自注意力机制输出一个表示对输入句子理解的向量序列。 解码器基于编码器的输出和之前生成的输出逐步生成目标序列，将向量文本重新转化成自然语言。例如生成中文句子“我喜欢猫”，解码器接收开始符号，然后逐步根据编码器输出和已生成的词决定生成后续的词。 Transformer 是一种使用注意力机制的编码器解码器模型，其模型架构使得它可以利用多元化的优势，同时处理大量数据，有助于提高机器翻译等应用程序的性能。 此外，Transformer 架构能够并行处理大量数据吞吐，且满足 scaling law，在各个模态和技术栈具有优势，被 OpenAI 广泛使用。使用同样的架构可以复用模型的参数来引导不同技术栈的训练，以及使用一套 infra 框架训练不同的模型。
2025-03-14
Transformer是什么？
Transformer 是一种注意力模型，也被称为变形金刚模型。它源于 Google 团队在 2017 年发布的论文《Attention is All Your Needs》。 Transformer 是一种深度学习模型，核心思想是“Attention is all you need”。其主要用于处理序列数据，包括当下热门的自然语言处理（NLP）任务。与传统模型不同，Transformer 完全基于注意力机制，不依赖传统的循环神经网络（RNN）或卷积神经网络（CNN）的计算架构。 基于 Transformer 的模型众多，例如最流行的 BERT，它是“来自 Transformer 的双向编码器表示”的缩写。BERT 经过在庞大文本语料库上的训练，已成为自然语言处理的通用模型，可用于文本摘要、问答、分类、命名实体识别、文本相似度、攻击性信息/脏话检测、理解用户查询等一系列任务。 此外，Transformer 不仅在自然语言处理领域表现出色，还在自然语言处理之外的领域掀起浪潮，如作曲、根据文本描述生成图像以及预测蛋白质结构。像 ChatGPT 这样的模型在闲聊中也能展现出更多的世界知识和某种程度的推理能力，能够更好地理解人类语言的含义和上下文，并生成更自然流畅的语言表达。
2025-03-06
大型语言模型（LLM）基于Transformer架构的模型的优缺点是什么，有什么局限性
大型语言模型（LLM）基于 Transformer 架构的模型具有以下优点： 1. 在大量数据集上进行预训练，展现出卓越的语言处理能力，能预测接下来的 Token。 然而，也存在一些缺点和局限性： 1. 瞬态状态：天生缺乏持久的记忆或状态，需要额外的软件或系统来保留和管理上下文。 2. 概率性质：随机性导致响应的不确定性，对相同提示词可能产生不同回答。 3. 过时信息：依赖预训练数据，只能访问历史知识，无法获取实时更新。 4. 内容制造：可能生成看似合理但不准确的信息，即“幻觉”。 5. 资源密集：巨大规模意味着显著的计算和财务成本，影响可扩展性和可访问性。 6. 领域特定性：本质上通用，但通常需要特定领域数据才能在专业任务中表现出色。 7. 缺乏创造性：像一个高性能的知识检索工具，超出检索范围时表现差，甚至出现“幻觉”。面对复杂逻辑推导和新的知识推演能力不足，无法基于新的语料推演出新知识。 8. 对于特定领域或高度专业化的查询，容易产生错误信息或“幻觉”，特别是当查询超出训练数据或需要最新信息时。
2025-02-13
如何深入浅出的讲解Transformer
Transformer 的工作流程可以通过一个简单的例子来解释，比如将英文句子“I am a student”翻译成中文： 1. 输入嵌入（Input Embeddings）：将每个单词映射为一个向量，如将“I”映射为一个 512 维的向量。 2. 位置编码（Positional Encodings）：由于 Transformer 没有递归或卷积等捕获序列顺序的结构，所以需要给每个词位置加上位置编码，让模型知道词语的相对位置。 3. 编码器（Encoder）：输入序列的嵌入向量和位置编码相加后被送入编码器层。编码器由多个相同的层组成，每层有两个核心部分，一是多头注意力机制（MultiHead Attention）用于捕捉单词间的依赖关系，二是前馈神经网络（FeedForward NN）对 attention 的结果进行进一步编码。 4. 解码器（Decoder）：编码器的输出被送入解码器层。解码器也是由多个相同层组成，每层除了编码器组件外，还有一个额外的注意力模块，对编码器的输出序列建模依赖关系。 5. 输出嵌入（Output Embeddings）：解码器最后一层的输出被映射为输出单词概率分布，例如生成单词“我”“是”等的概率。 6. 生成（Generation）：基于概率分布，以贪婪或 beam search 等解码策略生成完整的输出序列。 此外，aaronxic 从自己实际入坑的经验出发，总结梳理了新手友好的 transformer 入坑指南，计划从以下五个方面进行介绍： 1. 算法 1：NLP 中的 transformer 网络结构。 2. 算法 2：CV 中的 transformer 网络结构。 3. 算法 3：多模态下的 transformer 网络结构。 4. 训练：transformer 的分布式训练。 5. 部署：transformer 的 tvm 量化与推理。 同时，aaronxic 还针对 perplexity 指标进行了介绍，会先从大家熟悉的 entropy 指标开始，逐步介绍针对自然语言的改进版 Ngram Entropy 指标，最后介绍基于此改进的 perplexity 指标。
2024-12-27
如何让企业微信可以接上 AI？让我的企业微信号变成一个 AI 客服
要让企业微信接上 AI 并变成一个 AI 客服，可以参考以下内容： 1. 基于 COW 框架的 ChatBot 实现方案：这是一个基于大模型搭建的 Chat 机器人框架，可以将多模型塞进微信（包括企业微信）里。张梦飞同学写了更适合小白的使用教程，链接为： 。 可以实现打造属于自己的 ChatBot，包括文本对话、文件总结、链接访问、联网搜索、图片识别、AI 画图等功能，以及常用开源插件的安装应用。 正式开始前需要知道：本实现思路需要接入大模型 API 的方式实现（API 单独付费）。 风险与注意事项：微信端因为是非常规使用，会有封号危险，不建议主力微信号接入；只探讨操作步骤，请依法合规使用，大模型生成的内容注意甄别，确保所有操作均符合相关法律法规的要求，禁止将此操作用于任何非法目的，处理敏感或个人隐私数据时注意脱敏，以防任何可能的滥用或泄露。 支持多平台接入，如微信、企业微信、公众号、飞书、钉钉等；多模型选择，如 GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/通义千问/Gemini/GLM4/LinkAI 等等；多消息类型支持，能处理文本、语音和图片，以及基于自有知识库进行定制的企业智能客服功能；多部署方法，如本地运行、服务器运行、Docker 的方式。 2. DIN 配置：先配置 FastGpt、OneAPI，装上 AI 的大脑后，可体验知识库功能并与 AI 对话。新建应用，在知识库菜单新建知识库，上传文件或写入信息，最后将拥有知识库能力的 AI 助手接入微信。
2025-05-09
围棋AI
围棋 AI 领域具有重要的研究价值和突破。在古老的围棋游戏中，AI 面临着巨大挑战，如搜索空间大、棋面评估难等。DeepMind 团队通过提出全新方法，利用价值网络评估棋面优劣，策略网络选择最佳落子，且两个网络以人类高手对弈和 AI 自我博弈数据为基础训练，达到蒙特卡洛树搜索水平，并将其与蒙特卡洛树搜索有机结合，取得了前所未有的突破。在复杂领域 AI 第一次战胜人类的神来之笔 37 步，也预示着在其他复杂领域 AI 与人类智能对比的进一步突破可能。此外，神经网络在处理未知规则方面具有优势，虽然传统方法在处理象棋问题上可行，但对于围棋则困难重重，而神经网络专门应对此类未知规则情况。关于这部分内容，推荐阅读《这就是 ChatGPT》一书，其作者备受推崇，美团技术学院院长刘江老师的导读序也有助于了解 AI 和大语言模型计算路线的发展。
2025-05-08
什么AI工具可以实现提取多个指定网页的更新内容
以下 AI 工具可以实现提取多个指定网页的更新内容： 1. Coze：支持自动采集和手动采集两种方式。自动采集包括从单个页面或批量从指定网站中导入内容，可选择是否自动更新指定页面的内容及更新频率。批量添加网页内容时，输入要批量添加的网页内容的根地址或 sitemap 地址然后单击导入。手动采集需要先安装浏览器扩展程序，标注要采集的内容，内容上传成功率高。 2. AI Share Card：能够一键解析各类网页内容，生成推荐文案，把分享链接转换为精美的二维码分享卡。通过用户浏览器，以浏览器插件形式本地提取网页内容。
2025-05-01
AI文生视频
以下是关于文字生成视频（文生视频）的相关信息： 一些提供文生视频功能的产品： Pika：擅长动画制作，支持视频编辑。 SVD：Stable Diffusion 的插件，可在图片基础上生成视频。 Runway：老牌工具，提供实时涂抹修改视频功能，但收费。 Kaiber：视频转视频 AI，能将原视频转换成各种风格。 Sora：由 OpenAI 开发，可生成长达 1 分钟以上的视频。 更多相关网站可查看：https://www.waytoagi.com/category/38 。 制作 5 秒单镜头文生视频的实操步骤（以梦 AI 为例）： 进入平台：打开梦 AI 网站并登录，新用户有积分可免费体验。 输入提示词：涵盖景别、主体、环境、光线、动作、运镜等描述。 选择参数并点击生成：确认提示词无误后，选择模型、画面比例，点击「生成」按钮。 预览与下载：生成完毕后预览视频，满意则下载保存，不理想可调整提示词再试。 视频模型 Sora：OpenAI 发布的首款文生视频模型，能根据文字指令创造逼真且充满想象力的场景，可生成长达 1 分钟的一镜到底超长视频，视频中的人物和镜头具有惊人的一致性和稳定性。
2025-04-20
学AI上钉钉
以下是在钉钉上学 AI 的相关内容： 从 AI 助教到智慧学伴的应用探索： 登录钉钉客户端，在右上角依次选择钉钉魔法棒、AI 助理、创建 AI 助理。进入创建 AI 助理页面后，填写 AI 助理信息，设置完成即可创建成功。 AI 领导力向阳乔木：未提及具体的在钉钉上学 AI 的操作方法。 基于 COW 框架的 ChatBot 实现步骤： 创建应用： 进入，登录后点击创建应用，填写应用相关信息。 点击添加应用能力，选择“机器人”能力并添加。 配置机器人信息后点击发布，发布后点击“点击调试”，会自动创建测试群聊，可在客户端查看。点击版本管理与发布，创建新版本发布。 项目配置： 点击凭证与基础信息，获取 Client ID 和 Client Secret 两个参数。 参考项目，将相关配置加入项目根目录的 config.json 文件，并设置 channel_type:"dingtalk"，注意运行前需安装依赖。 点击事件订阅，点击已完成接入，验证连接通道，会显示连接接入成功。 使用：与机器人私聊或将机器人拉入企业群中均可开启对话。
2025-04-19
AI术语解释
以下是一些常见的 AI 术语解释： Agents（智能体）：一个设置了一些目标或任务，可以迭代运行的大型语言模型。与大型语言模型在像 ChatGPT 这样的工具中的通常使用方式不同，Agent 拥有复杂的工作流程，模型本质上可以自我对话，无需人类驱动每一部分的交互。属于技术范畴。 ASI（人工超级智能）：尽管存在争议，但通常被定义为超越人类思维能力的人工智能。属于通识范畴。 Attention（注意力）：在神经网络的上下文中，有助于模型在生成输出时专注于输入的相关部分。属于技术范畴。 Bias（偏差）：AI 模型对数据所做的假设。“偏差方差权衡”是模型对数据的假设与给定不同训练数据的模型预测变化量之间必须实现的平衡。归纳偏差是机器学习算法对数据的基础分布所做的一组假设。属于技术范畴。 Chatbot（聊天机器人）：一种计算机程序，旨在通过文本或语音交互模拟人类对话。通常利用自然语言处理技术来理解用户输入并提供相关响应。属于通识范畴。 CLIP（对比语言图像预训练）：由 OpenAI 开发的 AI 模型，用于连接图像和文本，使其能够理解和生成图像的描述。属于技术范畴。 TPU（张量处理单元）：谷歌开发的一种微处理器，专门用于加速机器学习工作负载。属于技术范畴。 Training Data（训练数据）：用于训练机器学习模型的数据集。属于技术范畴。 Transfer Learning（迁移学习）：机器学习中的一种方法，其中对新问题使用预先训练的模型。属于技术范畴。 Validation Data（验证集）：机器学习中使用的数据集的子集，独立于训练数据集和测试数据集。用于调整模型的超参数（即架构，而不是权重）。属于技术范畴。 Knowledge Distillation（数据蒸馏）：数据蒸馏旨在将给定的一个原始的大数据集浓缩并生成一个小型数据集，使得在这一小数据集上训练出的模型，和在原数据集上训练得到的模型表现相似。在深度学习领域中被广泛应用，特别是在模型压缩和模型部署方面。可以帮助将复杂的模型转化为更轻量级的模型，并能够促进模型的迁移学习和模型集成，提高模型的鲁棒性和泛化能力。属于技术范畴。 RAG（检索增强生成）：检索增强生成。属于技术范畴。 Forward Propagation（前向传播）：在神经网络中，输入数据被馈送到网络并通过每一层（从输入层到隐藏层，最后到输出层）以产生输出的过程。网络对输入应用权重和偏差，并使用激活函数生成最终输出。属于技术范畴。 Foundation Model（基础模型）：在广泛数据上训练的大型 AI 模型，旨在适应特定任务。属于技术范畴。 GAN（通用对抗网络）：一种机器学习模型，用于生成类似于某些现有数据的新数据。使两个神经网络相互对抗：一个“生成器”，创建新数据，另一个“鉴别器”试图将数据与真实数据区分开来。属于技术范畴。 Generative AI/Gen AI（生成式 AI）：AI 的一个分支，专注于创建模型，这些模型可以根据现有数据的模式和示例生成新的原创内容，例如图像、音乐或文本。属于通识范畴。 GPU（图形处理单元）：一种特殊类型的微处理器，主要用于快速渲染图像以输出到显示器。在执行训练和运行神经网络所需的计算方面也非常高效。属于产品范畴。
2025-04-18
LSTM是什么？
长短期记忆（LSTM）是一种用于解决递归神经网络中梯度消失问题的方法，于 1997 年被提出。 LSTM 单元使用具有自连接的线性单元，其恒定权重为 1.0。这使得流入该自循环单元的值（前向传递）或梯度（后向传递）可以无限期地保留，以便在最需要的时间可以准确地检索该值或梯度。这种自我循环单元，即存储单元，提供了一种可以存储过去数十个时间步长的信息的存储器。这对于许多任务来说非常强大，例如对于文本数据，LSTM 单元可以存储前一段中包含的信息并将该信息应用于当前段落中的句子。 此外，深度网络中的一个常见问题是“梯度消失”问题，即梯度逐层变得越来越小，直至太小而无法影响最深层。借助 LSTM 中的存储单元，我们拥有连续的梯度流（误差保持其值），从而消除了梯度消失问题，并能够从数百个时间步长的序列中进行学习。 另一个门通过将存储单元的输出乘以 0（无输出）和 1（保留输出）之间的数字来操纵存储单元的输出。如果多个记忆相互竞争，这个门可能会很有用。 LSTM 单元的连接乍一看可能有点复杂，您需要一些时间来理解它。然而，如果将所有部分隔离开来，会发现该结构本质上与普通循环神经网络相同，其中输入和循环权重流向所有门，而这些门又反过来连接到自循环存储单元。 为了更深入地研究 LSTM 并理解整个架构，建议阅读。
2024-08-19