表格大模型的使用

用户上传excel后，在工作流中可以拿到excel连接，然后写一个插件通过url下载当前excel，再读取excel里的数据。开始我打算把解析出来的excel数据以单元格的形式存到bot数据库，然后使用大模型根据单元格数据和用户提问生成答案，但是经过多次实验，发现大模型的计算能力特别差，经常出现计算错的情况。比如一张学生成绩表，用户想求某个学科的平均数，大模型可以把当前学科所有分数精准的提取出来，最后一步计算的时候，经常会出现错误。然后就试了一下另外一套方案，把excel转换为数据表，然后使用大模型把用户问题转换为sql，发现这样做生成的sql准确率非常高，基本都能得到想要的结果。coze里不能动态创建表，所以我自己写了一个服务，在动作流里调用这个服务，根据excel的url动态创建表，同时把excel数据插入到表中，最后把服务返回的动态表名存到coze数据库中，这一步是为了后续用户提问问题时，根据表名动态执行sql，拿到数据。最后再根据数据库表字段信息，使用大模型为用户生成3个推荐报表，报表信息中包含标题、描述、查询sql。这里防止一次查询出来的数据过多，传给大模型时候崩溃，所以限制数据100条。拿到sql后，使用插件动态执行sql查询数据，再根据标题和数据使用大模型转换为绘制echarts图表的参数。绘制图表，官方有一个插件，但是这个插件生成的图表图表有点模糊，我自己就写了一个插件，生成的图表图片就清晰度比较高，echarts绘制图表时可以设置缩放，我给图片放大了三倍，清晰度就变高了很多。

SDXL的大模型分为两个部分：第一部分，base+refiner是必须下载的，base是基础模型，我们使用它进行文生图的操作；refiner是精炼模型，我们使用它对文生图中生成的模型进行细化，生成细节更丰富的图片。第二部分，是SDXL还有一个配套的VAE模型，用于调节图片的画面效果和色彩。这三个模型，我已经放入了云盘链接中，大家可以关注我的公众号【白马与少年】，然后回复【SDXL】获取下载链接。想要在webUI中使用SDXL的大模型，首先我们要在秋叶启动器中将webUI的版本升级到1.5以上。接下来，将模型放入对应的文件夹中，base和refiner放在“……\sd-webui-aki-v4.2\models\Stable-diffusion”路径下；vae放在“……\sd-webui-aki-v4.2\models\VAE”路径下。完成之后，我们启动webUI，就可以在模型中看到SDXL的模型了。我们正常的使用方法是这样的：先在文生图中使用base模型，填写提示词和常规参数，尺寸可以设置为1024*1024，进行生成。我这边使用了一个最简单的提示词“1girl”，来看看效果。生成的图片大家可以看一下，我觉得是相当不错的。我知道大家心里可能会想——“就这，还好吧，也没有那么惊艳吧？”，那么，我用同样的参数再给你画一幅sd1.5版本的图像，你就能看出进步有多大了。是不是没有对比就没有伤害？SDXL，真香！还没完，我们到现在还只使用了一个base模型，接下来，将图片发送到图生图当中，大模型切换为“refiner”，重绘幅度开小一点，再次点击生成。

在默认的情况下，我们需要在终端中跟大模型进行交互，但是这种方法太古老了。我们基本不会使用终端命令跟Mysql打交道，而是使用Navcat等客户端和Mysql进行交互。大模型也有其交互客户端，这就是Open WebUI[heading2]安装Open WebUI[content][Open WebUI](https://github.com/open-webui/open-webui?tab=readme-ov-file)是github上的一个开源项目，这里我们参考其[官方文档](https://docs.openwebui.com/getting-started/)进行下载和安装。1.在安装之前，我们需要先安装Docker，安装说明如下：如果是Win或者Mac系统，参考文档：[Docker Desktop release notes](https://docs.docker.com/desktop/release-notes/#4200)：注意：要下载跟自己的电脑系统适配的版本例如目前的最新版本的Docker仅支持Mac OS12.0以后的系统如果Linux系统，请自己上网找教程（日常都可以使用Linux系统了，安装Docker小Case！）1.在官方文档中我们会看到两种安装Open WebUI的方式：ollama和open webui一起安装仅仅安装open webui由于我们已经安装了ollama，因此我们只需要安装open webui即可，复制如下命令：当Open WebUI安装下载完成之后，我们就可以愉快的玩耍啦！