Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

LLama是什么？

Answer

LLama 是 Meta 推出的一系列语言模型。

LLama 具有以下特点和应用：

  1. 在法律领域有相关的微调模型，如 Lawyer LLaMA 等，这些模型在大规模法律语料上进行了预训练和指令微调，旨在为法律从业者和用户提供准确可靠的法律咨询服务。
  2. 有专门用于编写代码的 Code Llama ，它基于 Llama 2 平台构建，包括多种模型以适应不同需求，其训练配方和模型权重可在 Github 仓库获取。
  3. 一共有 4 个模型尺寸，其出发点包括只使用公开数据集以保证数据平等，用更多数据训练更小网络等。网络结构采用 decoder-only 的方式，使用了 SentencePiece 实现的 PBE 编码方式、PreNorm 、SwiGLU 、RoPE 旋转位置编码等技术。同时还介绍了 RMSNorm 等相关技术。
Content generated by AI large model, please carefully verify (powered by aily)

References

LLM开源中文大语言模型及数据集集合

LaWGPT：基于中文法律知识的大语言模型地址：[https://github.com/pengxiao-song/LaWGPT](https://github.com/pengxiao-song/LaWGPT)简介：该系列模型在通用中文基座模型（如Chinese-LLaMA、ChatGLM等）的基础上扩充法律领域专有词表、大规模中文法律语料预训练，增强了大模型在法律领域的基础语义理解能力。在此基础上，构造法律领域对话问答数据集、中国司法考试数据集进行指令精调，提升了模型对法律内容的理解和执行能力。LexiLaw：中文法律大模型地址：[https://github.com/CSHaitao/LexiLaw](https://github.com/CSHaitao/LexiLaw)简介：LexiLaw是一个基于ChatGLM-6B微调的中文法律大模型，通过在法律领域的数据集上进行微调。该模型旨在为法律从业者、学生和普通用户提供准确、可靠的法律咨询服务，包括具体法律问题的咨询，还是对法律条款、案例解析、法规解读等方面的查询。Lawyer LLaMA：中文法律LLaMA地址：[https://github.com/AndrewZhe/lawyer-llama](https://github.com/AndrewZhe/lawyer-llama)简介：开源了一系列法律领域的指令微调数据和基于LLaMA训练的中文法律大模型的参数。Lawyer LLaMA首先在大规模法律语料上进行了continual pretraining。在此基础上，借助ChatGPT收集了一批对中国国家统一法律职业资格考试客观题（以下简称法考）的分析和对法律咨询的回答，利用收集到的数据对模型进行指令微调，让模型习得将法律知识应用到具体场景中的能力。

【翻译】不止Cursor，2024年AI代码工具终极指南，还有这么多努力的探索

!Code Llama是一组专门用于编写代码的大语言模型，基于Llama 2平台构建。它包括多种模型以适应不同需求：通用Code Llama、专门用于Python任务的Code Llama-Python，以及基于指令的Code Llama-Instruct。模型大小有7 B、13 B和34 B三种，最多可处理16 k Token输入，部分改进后最多可处理100 k Token。7 B和13 B模型还支持内容补全功能。Code Llama的训练配方和[模型权重](https://ai.meta.com/llama/)可在[Github仓库](https://github.com/facebookresearch/codellama)获取。

（2）初探LLM基座模型

Meta可谓是LLM开源一哥，LLaMA是其代表作，一共有4个模型尺寸，出发点如下只使用公开的数据集，保证所有人在数据面前平等用更多的数据训练更小网络，例如用1T的token训练7B的模型和13B模型，用1.4T的token训练33B和65B模型。这一点是参考了Chinchilla的结论。网络结构也是decoder-only的方式，跟GPT3相比异同如下使用了SentencePiece实现的PBE的编码方式使用了PreNorm，这样收敛稳定一些。同时用RMSNorm，就是LayerNorm里面没有减均值项和beta项使用SwiGLU，即swish激活+GeLU调制。由于SwiGLU引入了额外的参数矩阵，原始FFN需要做相应的砍小用了苏剑林老师提出的RoPE旋转位置编码，核心思想是通过绝对位置编码的方式实现相对位置编码，理论推导见[原文](https://zhuanlan.zhihu.com/p/359502624)RMSNormRMSNorm是本文要介绍的第3种norm，其中RMS(root mean square)是均方根的含义$$\text{RMS}(x)=\sqrt{\frac{1}{d}\sum_{i=1}^d x_i^2}$$同时省去了beta，则可以得到$$\text{RMSNorm}(x)=\frac{x}{\text{RMS}(x)}\cdot\gamma$$SwiGLU激活函数SwiGLU和前面介绍的GeGLU非常相似，只是把GeLU激活换成了Swish激活，如下所示

Others are asking
本地用Ollama部署模型，使用哪个ChatBox客户端好？
目前在本地使用 Ollama 部署模型时，没有特别突出或被广泛推荐的特定 ChatBox 客户端。不同的客户端可能在功能、界面和兼容性方面存在差异，您可以根据自己的需求和使用习惯进行选择和尝试。常见的一些客户端包括但不限于 Web 端的简单界面工具，或者一些具有特定功能扩展的桌面应用程序。但具体哪个最适合您，还需要您亲自测试和评估。
2025-03-27
llamaindex
LlamaIndex 是一个为构建大型语言模型（LLM）应用而设计的开发框架，具有以下特点和优势： 1. 为开发人员提供强大且灵活的工具，能更有效地理解和处理文本数据。对于熟悉 LangChain 的开发者来说不陌生。 2. 核心优势在于对大型语言模型的深度支持，允许利用如 GPT3.5 Turbo 这样的模型执行多种文本处理任务，如文档问答、文章生成和自动翻译等。 3. 特别提供构建文档问答系统的功能，能自动从大量文档中检索相关信息并生成答案，对处理大量知识信息的领域有价值。 4. 允许对嵌入模型进行微调以适应特定任务需求，提升文档问答系统性能。 5. 支持连接不同类型的数据源，包括结构化、半结构化和非结构化数据，为应用程序提供全面信息。 6. 设计注重简化开发流程，复杂的 NLP 任务通过少量代码即可实现，无需深入了解底层复杂性，降低开发大型语言模型应用的门槛，提升开发效率和应用性能。 7. 之前叫 GPT Index，是更高一层 LangChain 的抽象。简化了 LangChain 对文本分割、查询的接口，提供更丰富的 Data Connector。只针对 GPT Model 做 Index，而 LangChain 可对接多个 LLMs，可扩展性更强。 其 GitHub 地址：https://github.com/runllama/llama_index/
2025-03-20
ollama框架有哪些推荐
Ollama 是一个开源的框架，具有以下特点和功能： 1. 旨在简化在本地运行大型语言模型（LLM）的过程，提供了简单的 API 来创建、运行和管理模型，还有预构建模型库，降低使用门槛，适合初学者或非技术人员使用。 2. 支持多种大型语言模型，如通义千问、Llama 2、Mistral 和 Gemma 等，可用于不同应用场景。 3. 易于使用，适用于 macOS、Windows 和 Linux 系统，同时支持 CPU 和 GPU。 4. 提供模型库，用户可从中下载不同模型，这些模型有不同参数和大小，以满足不同需求和硬件条件。模型库可通过 https://ollama.com/library 查找。 5. 支持用户自定义模型，例如修改模型的温度参数来调整创造性和连贯性，或者设置特定的系统消息。 6. 提供 REST API，用于运行和管理模型，以及与其他应用程序的集成选项。 7. 社区贡献丰富，包括多种集成插件和界面，如 Web 和桌面应用、Telegram 机器人、Obsidian 插件等。 安装 Ollama 可通过官方下载地址 https://ollama.com/download 进行。安装完成后，可通过访问相关链接判断是否安装成功，在命令行中运行相应命令即可使用，如运行本地大模型的命令。还可通过 ollama list 确认模型下载情况。 此外，在 termux 软件中进行相关操作时，需执行如 aptget update、安装 curl 命令、安装 ollama 命令等。启动模型时，以 phi3 模型为例，在 termux 软件中执行命令 ollama run phi3 并等待下载完成。当然，Ollama 还有很多其他模型，如有需要可在 ollama 官网自行查看命令与下载。
2025-03-14
本地部署ollama+deep seek后怎么有效搭机械领域建知识库或微调为机械领域
以下是本地部署 ollama + deep seek 后有效搭建机械领域知识库或微调为机械领域的步骤： 1. 下载 Ollama 程序：官方网址为 https://ollama.com/ 。默认下载到 C 盘，若想修改安装目录到 D 盘，后续会有相关说明。下载完成后，右下角会出现 Ollama 的图标，打开命令行输入相应命令回车。根据自身独立显卡性能选择模型，如英伟达 2060Super 可选择 Deepseekr1:14b 的模型。若下载速度慢，可按 Ctrl+C 强制退出重新下载。下载完毕后，再下载一个嵌入模型，Ollama 的 bge 模型官方网址：https://ollama.com/library/bgem3 ，输入相应命令，下载好后直接退出终端。 2. 配置模型：返回 RAGFlow 中，打开右上角设置，进入模型提供商进行配置。选择 Ollama，并配置相关信息，基础 URL 按要求设置，设置完成后点击确定。 3. 导入嵌入模型：导入一个嵌入模型用于文本向量化。 4. 设置系统模型：完成相关设置。 5. 创建知识库：返回知识库，进入数据集，可导入文件或设置文件夹当作知识库，自行设置。导入完毕后，对文件进行解析，解析速度取决于本机 GPU 性能，越好的显卡解析越快。解析完成后，进行检索测试，测试没问题即可进入聊天界面，助理设置可自行设置。
2025-03-07
请给我找一个安装ollama-deep-researcher的完整教程，用于windows上。
很抱歉，目前没有关于在 Windows 上安装 ollamadeepresearcher 的完整教程。建议您通过以下途径获取相关信息： 1. 官方网站：访问 ollamadeepresearcher 的官方网站，查找针对 Windows 系统的安装指南。 2. 相关技术论坛：在专业的技术论坛上搜索相关主题，可能会有其他用户分享的安装经验和教程。 3. 视频平台：部分视频平台上可能有关于此软件在 Windows 上安装的演示视频。
2025-03-06
如何在电脑上用chatbox框架，使用ollama搭建deepseek模型
在电脑上使用 Chat Box 框架，通过 Ollama 搭建 DeepSeek 模型的步骤如下： 1. 阿里云百炼平台： 百炼平台的模型广场有各种模型，包括音频理解、视频理解等，通义的一些强模型也在其中。 百炼平台无需部署，可直接使用 DeepSeek R1 模型。 DeepSeek R1 模型的价格与各大平台差不多，有大量免费额度，如 100 万 token，不同版本的模型如 7B、14B、32B 等也送了 100 万 token，LLAVA 限时免费。 使用 DeepSeek R1 模型需要解锁和授权，没有授权按钮的需要对阿里云进行实名认证，可通过支付宝扫码或在右上角头像处进行，共学群里有相关指引。 在首页体验模型页面可对比不同模型的效果，如 V3 和 R1，R1 会先思考，速度较快。 多模态可以识别更多输入信息，如读文件、图片等，而 DeepSeek R1 本身不是多模态模型。 通过模型广场的 API 调用示例获取链接，截断后粘贴到 Chat Box 的设置中，添加自定义提供方，设置模型名称为 DeepSeek R1，并获取 API key。 API key 可删除旧的并重新创建，方便本地软件连接。 2. Docker + RAGFlow + Ollama 搭建： 返回 RAGFlow 中，打开右上角设置，进入模型提供商。 选择 Ollama，配置相关信息，模型取决于运行的模型。 配置基础 URL。 导入一个 embedding 模型，用于文本向量化。 设置系统模型设置。 进入数据集，导入文件，可设置文件夹当作知识库。 对文件进行解析，解析速度取决于本机 GPU 性能。 解析好之后，进入检索测试。 测试没问题，可进入聊天界面，助理设置可自行设置。 对于开源模型，如 DeepSeek、Llama 等，可以使用以下方式： 1. Inference Provider：使用 Together AI 等推理服务提供商，在线体验和调用各种开源模型。 2. LM Studio：使用 LM Studio 等本地应用程序，在个人电脑上运行和部署较小的开源模型。
2025-03-03