大模型相关的硬件知识请介绍一下

所有人都会手把手教你部署XX大模型，听起来很诱人，因为不需要科学上网，不需要高昂的ChatGPT会员费用。但是在开启下面的教程之前，我希望你能有个概念：运行大模型需要很高的机器配置，个人玩家的大多数都负担不起所以：虽然你的本地可能可以搭建出一个知识库，但是它不一定能跑的起来下面我通过一组数据来让大家有个感性的认知。以下文字来源于视频号博主：黄益贺，非作者实操生成文字大模型最低配置：8G RAM+4G VRAM建议配置：16G RAM+8G VRAM理想配置：32G RAM+24G VRAM（如果要跑GPT-3.5差不多性能的大模型）生成图片大模型（比如跑SD）最低配置：16G RAM+4G VRAM建议配置：32G RAM+12G VRAM生成音频大模型最低配置：8G VRAM+建议配置：24G VRAM而最低配置我就不建议了，真的非常慢，这个我已经用我自己8G的Mac电脑替你们试过了。讲这个不是泼大家冷水，而是因为我的文章目标是要做到通俗易懂，不希望通过夸大的方式来吸引你的眼球。这是这篇文章的第二次修改，我专门加的这段。原因就是因为好多小伙伴看了文章之后兴致冲冲的去实验，结果发现电脑根本带不动。但是这并不妨碍我们去手把手实操一遍，因为实操可以加深我们对大模型构建的知识库底层原理的了解。如果你想要私滑的体验知识库，可以参考我的另一篇文章：[胎教级教程：万字长文带你使用Coze打造企业级知识库](https://waytoagi.feishu.cn/wiki/CT3UwDM8OiVmOOkohPbcV3JCndb)好了，废话不多说，下面教程还是值得亲自上手搞一遍的，相信走完一遍流程后，你会对知识库有更深的理解。

通俗来讲，大模型就是输入大量语料，来让计算机获得类似人类的“思考”能力，使之能够理解自然语言，能够进行『文本生成』、『推理问答』、『对话』、『文档摘要』等工作。既然是学习，那我们就可以用『上学参加工作』这件事来类比大模型的训练、使用过程：1.找学校::训练LLM需要大量的计算，因此GPU更合适，因此只有购买得起大量GPU的贵族学校才有资本训练自己的大模型2.确定教材::大模型顾名思义就是大，需要的数据量特别多，几千亿序列（Token）的输入基本是标配3.找老师::即用什么样的算法讲述“书本”中的内容，让大模型能够更好理解Token之间的关系4.就业指导::学完书本中的知识后，为了让大模型能够更好胜任某一行业，需要进行微调（fine tuning）指导5.搬砖::就业指导完成后，下面就要正式干活了，比如进行一次翻译、问答等，在大模型里称之为推导（infer）在LLM中，Token([2])被视为模型处理和生成的文本单位。它们可以代表单个字符、单词、子单词，甚至更大的语言单位，具体取决于所使用的分词方法（Tokenization）。Token是原始文本数据与LLM可以使用的数字表示之间的桥梁。在将输入进行分词时，会对其进行数字化，形成一个词汇表（Vocabulary），比如：The cat sat on the mat，会被分割成“The”、“cat”、“sat”等的同时，会生成下面的词汇表：|Token|ID||-|-||The|345||cat|1256||sat|1726||…|…|

首先为方便大家对大模型有一个整体的认知，我们先从大模型的整体架构着手，来看看大模型的组成是怎么样的。下面是我大致分的个层。从整体分层的角度来看，目前大模型整体架构可以分为以下几层：[heading3]1.基础层：为大模型提供硬件支撑，数据支持等[content]例如A100、数据服务器等等。[heading3]2.数据层[content]这里的数据层指的不是用于基层模型训练的数据基集，而是企业根据自己的特性，维护的垂域数据。分为静态的知识库，和动态的三方数据集[heading3]3.模型层：LLm或多模态模型[content]LLm这个大家应该都知道，large-language-model，也就是大语言模型，例如GPT，一般使用transformer算法来实现。多模态模型即市面上的文生图、图生图等的模型，训练所用的数据与llm不同，用的是图文或声音等多模态的数据集[heading3]4.平台层：模型与应用间的平台部分[content]比如大模型的评测体系，或者langchain平台等，提供模型与应用间的组成部分[heading3]5.表现层：也就是应用层，用户实际看到的地方[content]这个就很好理解了，就不用我多作解释了吧