Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

你的底层大模型用的是哪个？

Answer

目前常见的大型语言模型多采用右侧只使用 Decoder 的 Decoder-only 架构，例如我们熟知的 ChatGPT 等。这些架构都是基于谷歌 2017 年发布的论文“attention is all you need”中提出的 Transformer 衍生而来，其中包括 Encoder 和 Decoder 两个结构。

大模型的特点在于：

  1. 预训练数据非常大，往往来自互联网上的论文、代码、公开网页等，一般用 TB 级别的数据进行预训练。
  2. 参数非常多，如 Open 在 2020 年发布的 GPT-3 就已达到 170B 的参数。

大模型之所以能有效生成高质量有意义的回答，关键在于“大”。例如 GPT-1 的参数规模是 1.5 亿，GPT-2 Medium 的参数规模是 3.5 亿，到 GPT-3.5 时，参数规模达到惊人的 1750 亿，参数规模的增加实现了量变到质变的突破，“涌现”出惊人的“智能”。

大模型的预训练机制是指其“脑袋”里存储的知识都是预先学习好的，预训练需要花费相当多的时间和算力资源。在没有其他外部帮助的情况下，大模型所知道的知识信息总是不完备且滞后的。

Content generated by AI large model, please carefully verify (powered by aily)

References

从 0 到 1 了解大模型安全，看这篇就够了

encoder-only:这些模型通常适用于可以自然语言理解任务，例如分类和情感分析.最知名的代表模型是BERTencoder-decoder:此类模型同时结合了Transformer架构的encoder和decoder来理解和生成内容。该架构的一些用例包括翻译和摘要。encoder-decoder的代表是google的T5decoder-only:此类模型更擅长自然语言生成任务。典型使用包括故事写作和博客生成。这也是我们现在所熟知的众多AI助手的结构我们目前耳熟能详的AI助手基本都来自左侧的灰色分支,当然也包括ChatGPT。这些架构都是根据谷歌2017年发布的论文“attention is all you need”中提出的transformer衍生而来的，在transformer中，包括Encoder，Decoder两个结构目前的大型语言模型就是右侧只使用Decoder的Decoder-only架构的模型大模型又大在哪呢？第一，大模型的预训练数据非常大，这些数据往往来自于互联网上，包括论文，代码，以及可进行爬取的公开网页等等，一般来说，现在最先进的大模型一般都是用TB级别的数据进行预训练。第二，参数非常多，Open在2020年发布的GPT-3就已经达到170B的参数在GPT3中，模型可以根据用户输入的任务描述，或给出详细的例子，完成任务但这与我们熟知的ChatGPT仍然有着很大的差距，使用ChatGPT只需要像和人类一样对话，就可以完成任务。除了形式上的不同之外，还有一个更加重要的差距，那就是安全性上的差别。

走入AI的世界

没错，这就是大语言模型真实工作的样子，平时使用大模型看到他逐字输出的样子，并不是程序员做的酷炫“打字机”效果，而是大模型就是如此这般工作的。按照我们的常识认知，这种依靠概率计算逐字接龙的方法，恐怕连生成一个通顺的句子都难，更别提生成高质量有意义的回答了，为什么这种方法会有效呢？答案就是大，GPT-1的参数规模是1.5亿，GPT-2 Medium的参数规模是3.5亿，到GPT-3.5时，他的参数规模来到了惊人的1750亿，我们常说大力出奇迹，参数规模的增加，使得大模型实现了量变到质变的突破，最终“涌现”出了这种惊人的“智能”。反观人类自身，无论是长周期看物种的进化，还是短周期看一个个体的学习成长历程，都有这样“涌现”的结构，就像当我打下这些文字的时候，我的大脑也在神奇的进行着快速的语言组织，这个边打字边思考边输出的过程，又何尝不是一场接龙游戏呢？图15文字接龙游戏预训练（Pre-trained）：正如我们前面五点朴素洞察提到的，人类是不知道自己没见过/学过的知识的，大模型也是如此，大模型“脑袋”里存储的知识，都是预先学习好的，这个预先学习并把对知识理解存储记忆在“脑袋”里的过程，就称为预训练。预训练是需要花费相当多的时间和算力资源的，当你了解并意识到预训练机制的时候，你就会明白，在没有其他外部帮助（例如使用浏览器插件，RAG等）的情况下，大模型所知道的知识信息总是不完备的，滞后的（非实时）。

大模型入门指南

由于笔者实用的macOS系统，因此采用GGML量化后的模型，官方开源出来的模型大都以Python为主，效率可想而知，因此笔者一般会采用社区内的其他实现，比较有名的项目有：ggerganov/llama.cpp:Port of Facebook's LLaMA model in C/C++([7])ggerganov/whisper.cpp:Port of OpenAI's Whisper model in C/C++([8])[heading2]LLama[content]首先是编译，为了利用Metal的GPU，可以用如下命令编译：之后需要去Llama-2-7B-Chat-GGML([9])中下载模型，3G到7G不等，读者可以按需尝试即可。得到输出此外，llama.cpp还提供了WebUI供用户使用，首先启动server：它默认监听8080端口，打开浏览器就可以对话了

Others are asking
stable diffusion底层技术
Stable Diffusion 的底层技术主要来源于 AI 视频剪辑技术创业公司 Runway 的 Patrick Esser 以及慕尼黑大学机器视觉学习组的 Robin Romabach 之前在计算机视觉大会 CVPR22 上合作发表的潜扩散模型（Latent Diffusion Model）研究。 Stable Diffusion 是一种基于潜在扩散模型的文本到图像生成模型，其原理包括以下几个步骤： 1. 使用新颖的文本编码器（OpenCLIP），由 LAION 开发并得到 Stability AI 的支持，将文本输入转换为向量表示，以捕捉文本语义信息并与图像空间对齐。 2. 采用扩散模型，将随机噪声图像逐渐变换为目标图像。扩散模型是一种生成模型，能从训练数据中学习概率分布并采样新数据。 3. 在扩散过程中，利用文本向量和噪声图像作为条件输入，给出每一步变换的概率分布，根据文本指导噪声图像向目标图像收敛，并保持图像的清晰度和连贯性。 4. 使用超分辨率放大器（Upscaler Diffusion Model），将生成的低分辨率图像放大到更高分辨率，从低分辨率图像中恢复细节信息并增强图像质量。 此外，ComfyUI 的底层依赖 Stable Diffusion，去噪过程由 UNet 网络完成。UNet 是一种编码器解码器结构，能处理多尺度特征表示。在 ComfyUI 中，去噪的每个步骤通过模型推理模块实现，调用训练好的 UNet 模型逐步将噪声图像还原成有意义的图像。交叉注意力机制在 Stable Diffusion 中很重要，允许模型在生成过程中融入文本提示、图像、语义信息等条件，在 ComfyUI 中通过“文本提示”和“条件输入”节点实现。跳跃连接是 UNet 的核心部分，能在不同尺度之间共享特征，在 ComfyUI 的节点网络中表现为中间过程数据的流转。切换器代表在去噪过程中的不同阶段对特征流的控制，在 ComfyUI 中可通过修改模型参数节点或自定义网络结构节点对不同阶段的噪声去除策略进行微调。 Stable Diffusion 还具有以下优点： 1. 可以处理任意领域和主题的文本输入，并生成与之相符合的多样化和富有创意的图像。 2. 可以生成高达 2048x2048 或更高分辨率的图像，且保持良好的视觉效果和真实感。 它还可以进行深度引导和结构保留的图像转换和合成，例如根据输入图片推断出深度信息，并利用深度信息和文本条件生成新图片。
2025-04-15
用what，why，how，will，next，作为五个力量，用熵增熵减作为二进制，组成的底层语言用其中的next作为自主学习探索动力的自进化AI，潜力怎么样？
用 what、why、how、will、next 作为五个力量，以熵增熵减作为二进制，组成底层语言，并以其中的 next 作为自主学习探索动力的自进化 AI 具有一定的潜力，但也面临一些挑战。 从潜力方面来看，这种设计可能有助于 AI 系统更有针对性地进行自主学习和探索。例如，what 可以帮助明确要学习和理解的对象或概念；why 有助于挖掘背后的原因和逻辑，促进更深入的理解；how 能够指导实现目标的方法和步骤；will 可以对未来的发展进行预测和规划。而将 next 作为自主学习探索的动力，有可能推动 AI 不断开拓新的知识领域。 然而，也存在一些挑战。首先，熵增熵减作为二进制的基础，其在实际应用中的有效性和稳定性需要进一步验证和优化。其次，如何准确地定义和运用这五个力量，以及它们之间的协同关系，需要精细的设计和调试。再者，将这种复杂的底层语言转化为实际的算法和模型实现，具有较高的技术难度。 总之，这种自进化 AI 的概念具有创新性和潜力，但需要在理论和实践上进行深入的研究和探索，以充分发挥其优势并克服可能的问题。
2025-04-12
大神解读大模型底层
大模型的底层原理主要包括以下几个方面： 1. 生成式：大模型根据已有的输入为基础，不断计算生成下一个字词（token），逐字完成回答。例如，从给定的提示词“how”开始，通过计算推理依次输出“are”“you”等，直到计算出下一个词是“”时结束输出。 2. 预训练：大模型“脑袋”里存储的知识都是预先学习好的，这个预先学习并把对知识的理解存储记忆在“脑袋”里的过程称为预训练。以 GPT3 为例，训练它使用了约 4990 亿 token 的数据集，相当于 86 万本《西游记》。预训练需要花费大量时间和算力资源，且在没有外部帮助的情况下，大模型所知道的知识信息是不完备和滞后的。 3. 转换器模型（Transformer）：Transformer 是一种处理文本内容的经典模型架构，虽然其具体细节不清楚不影响使用大模型，但感兴趣的可以通过相关链接进一步了解。 4. 参数规模：依靠概率计算逐字接龙的方法看似难以生成高质量回答，但随着参数规模的增加，如从 GPT1 的 1.5 亿到 GPT3.5 的 1750 亿，实现了量变到质变的突破，“涌现”出惊人的“智能”。这种“涌现”现象在人类的进化和个体学习成长历程中也存在。
2025-03-24
教我工作流的底层逻辑跟如何入门学习工作流
工作流的底层逻辑及入门学习方法如下： 工作流通常由多个节点构成，节点是其基本单元，本质上是包含输入和输出的函数。常见的节点类型包括： 1. LLM（大语言模型）：使用输入参数和提示词生成处理结果。 2. Code（代码）：通过 IDE 编写代码处理输入参数，并返回输出值。 3. Knowledage（知识库）：根据输入参数从关联知识库中召回数据，并返回。 4. Condition（条件判断）：ifelse 逻辑节点，用于设计工作流内的分支流程，根据设置条件运行相应的分支。 5. Variable（获取变量）：从 Bot 中获取变量作为参数在工作流中使用。 6. Database（数据库）：在工作流中使用提前配置在 Bot 数据库中的数据。 以下是一些入门学习工作流的示例和资源： 1. 对于生成绿幕素材和绿幕素材抠图的工作流，您可以下载工作流文件拖入 ComfyUI 中自动加载，然后对照相关说明进行学习。工作流链接：https://pan.quark.cn/s/01eae57419ce 提取码：KxgB 2. 对于 Glif 图像流制作冰淇淋甜品地标，您可以按照以下步骤学习： 1 分钟交作业：点击网址 https://glif.app/@jianStuart/glifs/cly85fy2i000cqe87zcu72i5l ，选一张主体区分度高且主体为地标的图，上传图片并点击相应按钮，多点几次选一张满意的即可。 5 分钟学习制作：点击顶上的“build”按钮，点击“+”加号，选择“img input”，再点下面的“+”加号，选“image generator”，把提示词放进节点，打开“advanced controls”，修改参数，勾选“Enable input image”并改参数。 3. 对于 Coze 平台的工作流，官方有现成的教程参考： 海外参考文档：https://www.coze.com/docs/zh_cn/use_workflow.html 国内参考文档：https://www.coze.cn/docs/guides/use_workflow 国内版本还提供了一些示例，建议跟着实操一遍，如： 搜索新闻：https://www.coze.cn/docs/guides/workflow_search_news 使用 LLM 处理问题：https://www.coze.cn/docs/guides/workflow_use_llm 生成随机数：https://www.coze.cn/docs/guides/workflow_use_code 搜索并获取第一个链接的内容：https://www.coze.cn/docs/guides/workflow_get_content 识别用户意图：https://www.coze.cn/docs/guides/workflow_user_intent
2025-03-24
我想学习ai视频ai生图的相关技能，并且我不想速成，我想了解其中的底层原理以便可以更好的控制生成的内容，我应该如何学习
以下是关于学习 AI 视频和生图相关技能的一些建议： 一、基础概念 1. 模型 Checkpoint：生图必需的基础模型，任何生图操作必须选定一个才能开始。 Lora：低阶自适应模型，可视为 Checkpoint 的小插件，用于精细控制面部、材质、物品等细节。 VAE：编码器，功能类似于滤镜，可调整生图的饱和度，一般选择 840000 这个。 2. 提示词 Prompt 提示词：想要 AI 生成的内容，需要花费功夫学习，可从照抄别人开始。 负向提示词 Negative Prompt：想要 AI 避免产生的内容，同样需要学习，可从照抄开始。 3. 其他概念 ControlNet：控制图片中特定图像，如人物姿态、特定文字、艺术化二维码等，属于高阶技能，可后续学习。 ADetailer：面部修复插件，用于治愈脸部崩坏，是高阶技能。 二、参数设置 1. 迭代步数：AI 调整图片内容的次数。步数越多，调整越精密，出图效果理论上更好，但耗时越长，且并非越多越好。 2. 尺寸：图片生成的尺寸大小，需适中选择，太小生成内容有限，太大 AI 可能放飞自我。 3. 生成批次和每批数量：决定重复生成图的批次和每批次同时生成的图片数量。 4. 提示词引导系数：指图像与 prompt 的匹配程度，数字增大图像更接近提示，但过高会使图像质量下降。 5. 随机数种子：固定后可对图片进行“控制变量”操作，首次生成图时无需关注。 6. 重绘幅度：图生图时用到，幅度越大，输出图与输入图差别越大。 在学习过程中，您可以先从熟悉基础模型、提示词和常见参数设置入手，通过实践和参考他人的经验不断积累知识，逐步掌握更高级的技能和工具。
2025-03-24
不能用APP思维、传统数字平台思维去做大模型创业和人工智能创业，二者在底层逻辑和商业模式等方面完全不同
大模型创业和人工智能创业与 APP 思维、传统数字平台思维在底层逻辑和商业模式等方面存在显著差异。大模型和人工智能创业更注重数据的深度处理、算法的优化创新以及对复杂问题的解决能力。相比之下，APP 思维通常侧重于用户界面和功能的设计，以满足特定的用户需求；传统数字平台思维则更多关注平台的搭建和用户流量的获取与运营。在大模型和人工智能领域，技术的突破和创新是关键，需要投入大量资源进行研发，并且要面对更高的技术门槛和不确定性。而 APP 和传统数字平台的创业相对更侧重于市场推广和用户体验的优化。总之，不能简单地用 APP 思维和传统数字平台思维来指导大模型和人工智能创业。
2025-03-07
大模型的系统提示词
大模型的系统提示词主要包括以下方面： 1. 在“五津：一键生成‘摸鱼打工猫’视频”中，针对用户选择的主题和回答，总结用户的创作意图，如“打工猫摸鱼的 2 小时，在巴厘岛能看一场日落”，并根据此生成 4 组体现幽默风趣、以宫崎骏风格描绘主角为摸秋刀鱼橘猫的绘图提示词，以数组形式输出到“tishici”，将用户意图输出到“biaoti”。 2. 在“云中江树：智能对决：提示词攻防中的 AI 安全博弈”中，系统提示词的相关防御措施分为输入侧、模型侧和输出侧三个部分。输入侧可进行意图识别、语义匹配等综合判断用户输入是否恶意；模型侧对于有能力的厂商应增强安全性并平衡性能，开发者则要在开发中带着安全意识优化系统提示词，加入安全引导和禁止内容等；输出侧可使用传统防御和内容过滤手段，并针对大模型特点进行私有数据泄露等检查。此外，还提到间接注入和提示词泄露的情况，间接注入常发生在应用获取依赖外部数据资源时，攻击者通过隐藏恶意指令完成攻击；提示词泄露指试图操纵模型输出获取部分或全部系统提示词，大模型输出内容可分为系统提示词、用户提示和助手提示词三段，通过攻击手段可获取系统提示词。
2025-04-18
通义千问Qwen2.5-VL、阶跃星辰step-1.5v-mini、Gemini-2.0-Flash，这3个视觉理解大模型哪个最厉害？
以下是对通义千问 Qwen2.5VL 模型的介绍： 版本：有 3B、7B 和 72B 三个尺寸版本。 主要优势： 视觉理解能力：在 13 项权威评测中夺得视觉理解冠军，全面超越 GPT4o 与 Claude3.5。 视频理解能力：支持超 1 小时的视频理解，无需微调即可变身为 AI 视觉智能体，实现多步骤复杂操作。 万物识别：擅长识别常见物体及分析图像中的文本、图表、图标、图形和布局。 精准的视觉定位：采用矩形框和点的多样化方式对通用物体定位，支持层级化定位和规范的 JSON 格式输出。 全面的文字识别和理解：提升 OCR 识别能力，增强多场景、多语言和多方向的文本识别和文本定位能力。 Qwen 特色文档解析：设计了更全面的文档解析格式，称为 QwenVL HTML 格式，能够精准还原文档中的版面布局。 增强的视频理解：引入动态帧率（FPS）训练和绝对时间编码技术，支持小时级别的超长视频理解，具备秒级的事件定位能力。 开源平台： Huggingface：https://huggingface.co/collections/Qwen/qwen25vl6795ffac22b334a837c0f9a5 Modelscope：https://modelscope.cn/collections/Qwen25VL58fbb5d31f1d47 Qwen Chat：https://chat.qwenlm.ai 然而，对于阶跃星辰 step1.5vmini 和 Gemini2.0Flash 模型，目前提供的信息中未包含其与通义千问 Qwen2.5VL 模型的直接对比内容，因此无法确切判断哪个模型在视觉理解方面最厉害。但从通义千问 Qwen2.5VL 模型的上述特点来看，其在视觉理解方面具有较强的能力和优势。
2025-04-15
目前全世界最厉害的对视频视觉理解能力大模型是哪个
目前在视频视觉理解能力方面表现出色的大模型有： 1. 昆仑万维的 SkyReelsV1：它不仅支持文生视频、图生视频，还是开源视频生成模型中参数最大的支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其具有影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等优势。 2. 通义千问的 Qwen2.5VL：在 13 项权威评测中夺得视觉理解冠军，全面超越 GPT4o 与 Claude3.5。支持超 1 小时的视频理解，无需微调即可变身为 AI 视觉智能体，实现多步骤复杂操作。擅长万物识别，能分析图像中的文本、图表、图标、图形和布局等。
2025-04-15
目前全世界最厉害的视频视觉理解大模型是哪个
目前全世界较为厉害的视频视觉理解大模型有以下几个： 1. 昆仑万维的 SkyReelsV1：不仅支持文生视频、图生视频，是开源视频生成模型中参数最大且支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其优势包括影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等。 2. 腾讯的混元：语义理解能力出色，能精准还原复杂的场景和动作，如特定品种的猫在复杂场景中的运动轨迹、从奔跑到跳跃的动作转换、琴音化作七彩音符等。 3. Pixverse V3.5：全球最快的 AI 视频生成模型，Turbo 模式下可在 10 秒内生成视频，最快仅需 5 6 秒。支持运动控制更加稳定、细节表现力强、首尾帧生成功能，具备顶尖动漫生成能力。
2025-04-15
目前全世界最厉害的视觉理解大模型是哪个
目前在视觉理解大模型方面，较为突出的有 DeepSeek 的 JanusPro 模型，它将图像理解和生成统一在一个模型中；还有通义千问的视觉理解模型，其价格有较大降幅。此外，Pixverse V3.5 是全球最快的 AI 视频生成模型，在某些方面也展现出了出色的能力。但很难确切地指出全世界最厉害的视觉理解大模型，因为这取决于不同的评估标准和应用场景。
2025-04-15
大模型对话产品的优劣
大模型对话产品具有以下优点： 1. 具有强大的语言理解和生成能力。 2. 能够提供类似恋爱般令人上头的体验，具有一定的“想象力”和“取悦能力”。 3. 可以通过陪聊建立人和 AI 之间的感情连接，产品粘性不完全依赖技术优越性。 4. 能够为用户提供产品咨询服务，适用于有企业官网、钉钉、微信等渠道的客户。 5. 具有多种应用场景，如私有领域知识问答、个性化聊天机器人、智能助手等。 大模型对话产品也存在一些缺点： 1. 存在记忆混乱的问题。 2. AI 无法主动推动剧情，全靠用户脑补，导致用户上头期短，疲劳度高，长期留存低。 3. 无法回答私有领域问题（如公司制度、人员信息等）。 4. 无法及时获取最新信息（如实时天气、比赛结果等）。 5. 无法准确回答专业问题（如复杂数学计算、图像生成等）。
2025-04-14