以下是关于“AI infra”的相关信息：
AI 模型的计算成本： GPT-3 约有 1750 亿个参数，对于 1024 个令牌的输入和输出，计算成本约为 350 万亿次浮点运算。训练像 GPT-3 这样的模型需要约 3.14×10^23 次浮点运算，其他模型如 Meta 的 LLaMA 有更高的计算要求。训练此类模型是人类迄今计算量最大的任务之一。AI 基础设施昂贵的原因在于底层算法问题计算难度极大，相比之下，对一百万个条目的数据库表进行排序的算法复杂性微不足道。因此，应选择最小的模型来解决具体用例。同时，根据变换器的经验法则，可轻松估计特定大小模型的算力和内存消耗，进而选择合适的硬件。
Generative AI 的开发工具和基础设施的趋势： 有一张图描绘了其趋势，代表了在 AI 开发领域中，为满足不同需求，工具和基础设施正逐渐模块化和专业化。图中的公司被分为四个主要类别：
AI 基础设施的考虑因素： 一些创业公司，尤其是训练新的基础模型或构建垂直集成 AI 应用程序的公司，不可避免直接在 GPU 上运行自己的模型。这要么是因为模型本身就是产品，团队正在寻找“模型-市场契合度”，要么是因为需要对训练和/或推理进行细粒度的控制，以实现某些功能或大规模降低边际成本。无论哪种方式，管理基础设施都可以成为竞争优势的来源。
上表显示了几种流行模型的大小和计算成本。GPT-3大约有1750亿个参数，对于1024个令牌的输入和输出，计算成本大约是350万亿次浮点运算（即太浮点运算或TFLOPs）。训练一个像GPT-3这样的模型需要大约3.14*10^23次浮点运算。其他模型，如Meta的LLaMA，有更高的计算要求。训练这样一个模型是人类迄今为止进行的计算量最大的任务之一。总之：AI基础设施之所以昂贵，是因为底层的算法问题计算难度极大。与GPT-3生成一个单词的复杂度相比，对一百万个条目的数据库表进行排序的算法复杂性显得微不足道。这意味着你要选择最小的模型来解决你的用例。好消息是，根据变换器的经验法则，我们可以轻松估计一个特定大小的模型将消耗多少算力和内存。因此，选择合适的硬件成为我们下一个考量因素。
这张图描绘了Generative AI的开发工具和基础设施的趋势。它代表了在AI开发领域中，为满足不同需求，工具和基础设施正在逐渐模块化和专业化的趋势。图中的公司被分组到以下四个主要类别：1.Orchestration（编排）：涉及到的公司（如DUST、FIAVIE、LangChain等）提供的工具帮助开发人员管理和协调各个部分和任务，以确保系统的流畅运行。2.Deployment,Scalability,& Pre-Training（部署，可扩展性和预训练）：这个类别的公司（如UWA mosaicm、NMAREL、anyscale等）提供工具，帮助开发人员部署模型，保证模型的可扩展性，以及在模型使用前进行预训练。3.Context & Embeddings（上下文和嵌入）：这个类别的公司（如TRUDO，Llamalndex，BerriAI等）提供工具，帮助模型处理和理解语言上下文，以及将词语和句子转化为计算机可以理解的形式。4.QA & Observability（质量保证和可观察性）：这个类别的公司（如Pinecone，drant，Vald等）提供工具，以确保模型的表现，并能够监控模型的性能和状态。这些类别和公司的出现代表了人工智能技术的复杂化和专业化。随着技术的发展，更多专门针对不同AI开发阶段的工具和服务正在被开发和使用，这有助于提高开发效率和模型质量。
另一方面，一些创业公司——尤其是那些训练新的基础模型或构建垂直集成AI应用程序的公司——不可避免直接在GPU上运行自己的模型。要么是因为模型本身就是产品，团队正在寻找“模型-市场契合度”，要么是因为需要对训练和/或推理进行细粒度的控制，才能实现某些功能或大规模降低边际成本。无论哪种方式，管理基础设施都可以成为竞争优势的来源。