大模型

通俗来讲，大模型就是输入大量语料，来让计算机获得类似人类的“思考”能力，使之能够理解自然语言，能够进行『文本生成』、『推理问答』、『对话』、『文档摘要』等工作。既然是学习，那我们就可以用『上学参加工作』这件事来类比大模型的训练、使用过程：1.找学校::训练LLM需要大量的计算，因此GPU更合适，因此只有购买得起大量GPU的贵族学校才有资本训练自己的大模型2.确定教材::大模型顾名思义就是大，需要的数据量特别多，几千亿序列（Token）的输入基本是标配3.找老师::即用什么样的算法讲述“书本”中的内容，让大模型能够更好理解Token之间的关系4.就业指导::学完书本中的知识后，为了让大模型能够更好胜任某一行业，需要进行微调（fine tuning）指导5.搬砖::就业指导完成后，下面就要正式干活了，比如进行一次翻译、问答等，在大模型里称之为推导（infer）在LLM中，Token([2])被视为模型处理和生成的文本单位。它们可以代表单个字符、单词、子单词，甚至更大的语言单位，具体取决于所使用的分词方法（Tokenization）。Token是原始文本数据与LLM可以使用的数字表示之间的桥梁。在将输入进行分词时，会对其进行数字化，形成一个词汇表（Vocabulary），比如：The cat sat on the mat，会被分割成“The”、“cat”、“sat”等的同时，会生成下面的词汇表：|Token|ID|<br>|-|-|<br>|The|345|<br>|cat|1256|<br>|sat|1726|<br>|…|…|

本地大模型：直接在电脑上运行的大语言模型，免费、无需担心隐私、无需联网，仅消耗本机电脑的算力。对电脑内存有一定要求，推荐16GB以上，8G也能跑。之前一直在用ChatGPT、Claude，没有想着在电脑上跑大模型，毕竟能用最好就用最好的。最近想试试直接在Mac上跑大模型，看看效果。于是尝试了三种模式，从地狱模式到超级简单的模式，分享一下折腾的过程。太长不看的版本，直接跳转到easy模式：[GPT4All](https://waytoagi.feishu.cn/wiki/EArlw8OpiiUN3dkQJnecx7MYn6f#KGygd7FFooOi4SxXOMpc4Ue2nth)[heading3]Hard模式：安装Conda，运行ChatGLM-6B[content]教程：https://zhuanlan.zhihu.com/p/642482701步骤：1.安装Homebrew2.安装git3.安装Conda4.部署大模型4.1.创建并激活环境4.2.安装各种依赖4.3.执行Python Demo当然，中间会碰到各种奇奇怪怪的问题，解决完所有问题后。激动的心，颤抖的手，终于可以和本地AI对话了。效果就是，回答一个问题，需要2分钟，非常鸡肋。

我们认识了Embedding（嵌入）是一个浮点数的向量（列表），两个向量之间的距离度量它们的相关性，小的距离表示高相关性，大的距离表示低相关性。知道了Embedding共有：词、句子、文档、图像等分类。还分析了Embedding在大模型中的价值。最后是Embedding的实战部分：从数据集中获取Embedding结果，并保存为csv文件。最后，本示例中的实战代码，参考的是官方最新文档的内容，加上个人测试阶段的遇到的问题、代码注释等OpenAI官网文档链接：https://platform.openai.com/docs/introduction大模型技术，除了在OpenAI官网能看到的：Embedding、Function Call和Fune Tuning等。进阶到企业级应用开发的大模型技术还会涉及到：利用开源的Embedding模型、向量数据库去做检索增强生成（RAG），以及购买GPU服务器去基于开源大模型搭建企业级大模型项目。