开源大模型分析

[title]LLM开源中文大语言模型及数据集集合[heading4]1.ModelKnowLM地址：[https://github.com/zjunlp/KnowLM](https://github.com/zjunlp/KnowLM)简介：KnowLM项目旨在发布开源大模型框架及相应模型权重以助力减轻知识谬误问题，包括大模型的知识难更新及存在潜在的错误和偏见等。该项目一期发布了基于Llama的抽取大模型智析，使用中英文语料对LLaMA（13B）进行进一步全量预训练，并基于知识图谱转换指令技术对知识抽取任务进行优化。BayLing地址：[https://github.com/ictnlp/BayLing](https://github.com/ictnlp/BayLing)简介：一个具有增强的跨语言对齐的通用大模型，由中国科学院计算技术研究所自然语言处理团队开发。百聆（BayLing）以LLaMA为基座模型，探索了以交互式翻译任务为核心进行指令微调的方法，旨在同时完成语言间对齐以及与人类意图对齐，将LLaMA的生成能力和指令跟随能力从英语迁移到其他语言（中文）。在多语言翻译、交互翻译、通用任务、标准化考试的测评中，百聆在中文/英语中均展现出更好的表现。百聆提供了在线的内测版demo，以供大家体验。

[title]谷歌开源可商用的大语言模型Gemma作者[小小将](https://www.zhihu.com/people/xiaohuzc)华中科技大学工学硕士刚刚，谷歌破天荒地开源了LLM大模型Gemma：Gemma是一系列轻量级的最先进开源模型，它们是基于创建Gemini模型的相同研究和技术构建的。由Google DeepMind和Google的其他团队开发，Gemma的灵感来自于Gemini，其名称反映了拉丁语中“宝石”的意思。除了模型权重，谷歌还发布了一些工具来支持开发者的创新，促进合作，并指导Gemma模型的负责任使用。这次开源的Gemma重点如下：共两个尺寸的模型权重：Gemma 2B和Gemma 7B。每种尺寸都提供了预训练和指令调优的版本。模型地址：[Models - Hugging Face](https://link.zhihu.com/?target=https%3A//huggingface.co/models%3Fother%3Dgemma%26sort%3Dtrending%26search%3Dgoogle)，[Gemma](https://link.zhihu.com/?target=https%3A//www.kaggle.com/models/google/gemma)

[title]开源大模型王座易主！谷歌Gemma杀入场，笔记本可跑，可商用原创机器之心机器之心2024-02-22 00:04辽宁原文地址：https://mp.weixin.qq.com/s/_iCYfqmXA3enKn3Hm-DwSA机器之心报道机器之心编辑部刚刚，谷歌杀入开源大模型。开源领域大模型，迎来了重磅新玩家。谷歌推出了全新的开源模型系列「Gemma」。相比Gemini，Gemma更加轻量，同时保持免费可用，模型权重也一并开源了，且允许商用。Gemma官方页面：https://ai.google.dev/gemma/本次发布包含两种权重规模的模型：Gemma 2B和Gemma 7B。每种规模都有预训练和指令微调版本。想使用的人可以通过Kaggle、谷歌的Colab Notebook或通过Google Cloud访问。当然，Gemma也第一时间上线了HuggingFace和HuggingChat，每个人都能试一下它的生成能力：尽管体量较小，但谷歌表示Gemma模型已经「在关键基准测试中明显超越了更大的模型」，对比的包括Llama-2 7B和13B，以及风头正劲的Mistral 7B。而且Gemma「能够直接在开发人员的笔记本电脑或台式电脑上运行」。除了轻量级模型之外，谷歌还推出了鼓励协作的工具以及负责任地使用这些模型的指南。Keras作者François Chollet对此直接表示：最强开源大模型的位置现在易主了。在HuggingFace的LLM leaderboard上，Gemma的2B和7B模型已经双双登顶。