如何用大模型和数据接口对话

由于笔者实用的macOS系统，因此采用GGML量化后的模型，官方开源出来的模型大都以Python为主，效率可想而知，因此笔者一般会采用社区内的其他实现，比较有名的项目有：ggerganov/llama.cpp:Port of Facebook's LLaMA model in C/C++([7])ggerganov/whisper.cpp:Port of OpenAI's Whisper model in C/C++([8])[heading2]LLama[content]首先是编译，为了利用Metal的GPU，可以用如下命令编译：之后需要去Llama-2-7B-Chat-GGML([9])中下载模型，3G到7G不等，读者可以按需尝试即可。得到输出此外，llama.cpp还提供了WebUI供用户使用，首先启动server：它默认监听8080端口，打开浏览器就可以对话了[heading2]Whisper[content]和llama类似，采用make命令编译，之后去ggerganov/whisper.cpp([10])下载量化好的模型，然后转换音频即可，目前只接受wav格式，可以用ffmpeg转化输出的srt文件如下所示：|Size|Parameters|English-only model|Multilingual model|Required VRAM|Relative speed|<br>|-|-|-|-|-|-|<br>|tiny|39 M|tiny.en|tiny|~1 GB|~32x|<br>|base|74 M|base.en|base|~1 GB|~16x|<br>|small|244 M|small.en|small|~2 GB|~6x|<br>|medium|769 M|medium.en|medium|~5 GB|~2x|<br>|large|1550 M|N/A|large|~10 GB|1x|一般来说，英文的音频small模型就有够了，但是如果是中文，最好用最大的模型。

[title]数据库[heading1]使用数据表[heading2]通过工作流数据库节点操作数据表通过在工作流中添加数据库节点对数据表进行操作。在工作流中可通过NL2SQL方式和代码方式进行调用，支持完整读写模式。下图是工作流中数据库节点配置示例。当发布工作流后，在用户与Bot对话时，大语言模型会根据需要调用工作流，按照工作流中数据库节点中配置的SQL来执行数据表操作。参考以下操作，在工作流中添加并配置工作流节点。在工作流中配置数据库节点前，确保你已经搭建了一个Bot，并在这个Bot中创建好了数据表。1.单击页面顶部的工作流页签，然后单击创建工作流。2.输入工作流名称和工作流的使用描述，然后单击确认。工作流名称和描述可以帮助大语言模型理解什么场景下需要调用该工作流。1.在基础节点页签下，将数据库节点拖入到工作流配置画布区域。2.根据以下信息配置数据库节点。2.1.输入：添加SQL执行中需要的参数，可以是一个变量，也可以是一个固定值。2.2.SQL:输入要执行的SQL语句，可以直接使用输入参数中的变量。可单击自动生成使用大模型生成SQL。在弹出的页面中，选择这个数据库工作流生效的Bot和数据表，然后使用自然语言描述要执行的操作，单击自动生成生成SQL语句，最后单击使用。不支持Select*语法。不支持多表Join操作。最多返回100行数据。

1.首先访问如下网址当你打开这个页面的时候，会让你登陆，这个时候我们随便使用一个邮箱注册一个账号即可1.和本地大模型进行对话登陆成功之后，如果你已经使用过ChatGPT等类似的大模型对话网站，我相信你对这个页面并不陌生。Open WebUI一般有两种使用方式第一种是聊天对话第二种是RAG能力，也就是可以让模型根据文档内容来回答问题。这种能力就是构建知识库的基础之一如果你的要求不高的话，我们已经搭建了一个本地大模型了，并且通过Web UI实现了和大模型进行对话的功能。相信通过这么一通折腾，你就理解了ChatGPT的信息流，至于为什么ChatGPT的访问速度比我们自己的要快，而且回答效果要好，有两个原因快：是因为GPT大模型部署的服务器配置高好：是因为GPT大模型的训练参数多，数据更优以及训练算法更好如果你想要更加灵活的掌握你的知识库，请接着往下看