大模型的发展

这一切的起源是2017年发布的Attention Is All You Need([4])论文，之后基于大量语料的预训练模型百花齐放，比如：BERT(Bidirectional Encoder Representations from Transformers):Google在2018年提出，创新性的双向预训练并行获取上下文语义信息，以及掩码语言建模（MLM）让模型更好地推断语义信息。它开创了预训练语言表示范式，对自然语言处理产生了深远影响。参数规模：110M到340MGPT(Generative Pre-trained Transformer):OpenAI在2018年提出，开创了仅使用自回归语言建模作为预训练目标而无需额外监督信号。它展示了通过无监督大规模预训练获得的语言生成能力,对研究与应用都带来重大影响。参数规模：1750亿Large LAnguage Model Approach（LLAMA）:Meta在2021年提出，首个开源模型。为构建更大规模、更通用的语言模型提供了系统化的方法与工具。参数规模：十亿到千亿

时间2022.125字节云雀大模型闭源通用大模型百川BaichuanYi-34B开源医疗汽车教育行业大模型MindGPT部分领域岐黄问道银河大模型..................序列猴子BlueLMAndesGPT孟子玉言云天书金融工业文化/零售/交通蚂蚁金融大模型妙笔大模型AInno-15B轩辕大模型COSMO-GPTSMore LrMo..................2023年值得关注的中文大模型全景图国内外大模型发展趋势过去六个月国内外代表性模型的发展趋势趋势说明过去半年，国内领军大模型企业实现了大模型代际追赶的奇迹，从7月份与GPT3.5的20分差距，每个月都有稳定且巨大的提升，到11月份测评时已经完成总分上对GPT3.5的超越。

大家下午好！很荣幸能够作为本次活动的分享嘉宾，我是甲木，LangGPT团队成员，很高兴给大家带来《大模型商业化落地现状与思考》的分享。本次分享的内容主要分为五个模块，从大模型的背景入手、深入探讨其在商业领域的现状和应用。接着，我们将分析在商业化过程中所遇到的挑战，并分享一些实战经验，最后将展望AI作为通用技术能够发挥生产力效能所要经历的几个阶段。[heading2]一、大模型的背景和趋势[content]首先，我们先来看大模型的背景和发展趋势。关于AI的演进历程，很多媒体包括各类研究资料都已经做过详细的介绍，相信今天在座的各位对AI的基本情况都已有所了解，因此我不会过多赘述AI的演进历程。（有兴趣的小伙伴可以多从公开资料中查找一下~）我们的重点将放在大模型当前的应用能力上，随着大模型技术的愈发成熟，规模增大，大模型为AI Agent()提供强大能力。Agent+大模型将有望构建具备自主思考、决策和执行能力的智能体，进一步提升大模型的应用能力，广泛应用于多个行业和领域。