以下是关于部署的相关信息：
对于 JavaScript 的 AI 堆栈，在向量数据库方面，LLM 需要由向量数据库来处理稳定的长期记忆和上下文窗口问题，如 Pinecone 是较成熟和受欢迎的选择，同时也支持 Supabase 的 。部署方面，使用 Fly.io 是个不错的选择，因其多区域、易管理且提供通用计算环境，是 JavaScript 本地托管环境和传统云之间的折衷，且代码也支持其他托管环境，Fly.io 很快还将提供 GPU 用于托管自己的模型。
部署和训练自己的 AI 开源模型的主要步骤包括：
1. 选择合适的部署方式，如本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等，根据自身资源、安全和性能需求选择。
2. 准备训练所需的数据和计算资源，确保有足够的训练数据覆盖目标应用场景，并准备足够的计算资源，如 GPU 服务器或云计算资源。
3. 选择合适的预训练模型作为基础，如 BERT、GPT 等开源模型，或自行训练基础模型。
4. 针对目标任务进行模型微调训练，优化模型结构和训练过程以提高性能。
5. 部署和调试模型，将训练好的模型部署到生产环境，并进行在线调试和性能优化。
6. 注意安全性和隐私保护，重视大模型涉及的大量数据和隐私信息的安全性和合规性。
在 Linux 上部署 ChatTTS 很简单，比 GPTSoVITS 更容易，前提是有一张 4G 以上显存的 GPU 显卡。简单步骤如下：
1. 下载代码仓库。
2. 安装依赖（有两个依赖不在 requirements.txt 里）。
3. 启动 webui 的 demo 程序，用浏览器登陆服务器的 ip:8080 就能试玩，demo 提供了 3 个参数：server_name（服务器的 ip 地址，默认 0.0.0.0）、servic_port（即将开启的端口号）、local_path（模型存储的本地路径）。
4. 第一次启动生成语音时，需看控制台输出，会下载一些模型文件，可能因网络问题失败，但第一次加载成功后后续会顺利。
5. 可基于此基础拓展，如集成到 agent 的工具中，结合 chatgpt 做更拟人化的实时沟通。
6. webui 上可设置的参数：text（需要转换成语音的文字内容）、Refine text（选择是否自动对输入的文本进行优化处理）、Audio Seed（语音种子，用于选择声音类型，默认值为 2）、Text Seed（文本种子，用于 refine 文本的停顿，实测会影响音色、音调）、额外提示词（可写在 input Text 里，用于添加笑声、停顿等效果）。
2024-12-27