以下是关于“AI infra”的相关信息：
AI 模型的计算成本：
GPT3 约有 1750 亿个参数，对于 1024 个令牌的输入和输出，计算成本约为 350 万亿次浮点运算。训练像 GPT3 这样的模型需要约 3.14×10^23 次浮点运算，其他模型如 Meta 的 LLaMA 有更高的计算要求。训练此类模型是人类迄今计算量最大的任务之一。AI 基础设施昂贵的原因在于底层算法问题计算难度极大，相比之下，对一百万个条目的数据库表进行排序的算法复杂性微不足道。因此，应选择最小的模型来解决具体用例。同时，根据变换器的经验法则，可轻松估计特定大小模型的算力和内存消耗，进而选择合适的硬件。
Generative AI 的开发工具和基础设施的趋势：
有一张图描绘了其趋势，代表了在 AI 开发领域中，为满足不同需求，工具和基础设施正逐渐模块化和专业化。图中的公司被分为四个主要类别：
1. Orchestration（编排）：如 DUST、FIAVIE、LangChain 等公司提供的工具帮助开发人员管理和协调各部分和任务，确保系统流畅运行。
2. Deployment, Scalability, & PreTraining（部署，可扩展性和预训练）：如 UWA mosaicm、NMAREL、anyscale 等公司提供工具，帮助开发人员部署模型，保证模型的可扩展性，以及进行预训练。
3. Context & Embeddings（上下文和嵌入）：如 TRUDO，Llamalndex，BerriAI 等公司提供工具，帮助模型处理和理解语言上下文，以及将词语和句子转化为计算机可理解的形式。
4. QA & Observability（质量保证和可观察性）：如 Pinecone，drant，Vald 等公司提供工具，确保模型表现，并能监控模型的性能和状态。
AI 基础设施的考虑因素：
一些创业公司，尤其是训练新的基础模型或构建垂直集成 AI 应用程序的公司，不可避免直接在 GPU 上运行自己的模型。这要么是因为模型本身就是产品，团队正在寻找“模型市场契合度”，要么是因为需要对训练和/或推理进行细粒度的控制，以实现某些功能或大规模降低边际成本。无论哪种方式，管理基础设施都可以成为竞争优势的来源。
2024-08-22