太热闹了。Google发布Gemini1.5的时候,被OpenAI的Sora截胡抢了风头。这些天,铺天盖地都是“Sora又让人类完了”的新闻。


昨夜,“悄悄地”,Google发布了自己的开源大模型——一款能跑在你笔记本电脑上的大模型。


一、最强的开源模型


Google 开放了与 Gemini 模型“同源”的轻量级模型——Gemma(取拉丁文“宝石”之意)。Gemma 模型包括两种权重规模,“Gemma 2B”和“Gemma 7B”,分别对应 20 亿参数和 70 亿参数版本。


对于 Gemma 的技术细节深挖和测试之后,大家的“兴奋点”主要在,Gemma 的性能表现和对于开发者的友好和易用性。


首先,与参数规模相当的模型进行比较,在涵盖语言理解、推理、数学、编程的8项基准测试中,Gemma(7B)超过了LLaMA 2(7B)、LLaMA 2(13B)和Mistral(7B)(除了在语言理解上弱于LLaMA 2(13B))


每种规模模型都有预训练和指令微调变体。Google十分强调 Gemma 开源模型的安全性。


Google 进行了大量的微调和人类反馈强化学习(RLHF),降低模型带来的风险,经过指令微调的Gemma-2B IT和 Gemma-7B IT模型,在人类偏好评估中都超过了Mistal-7B v0.2模型。特别是Gemma-7B IT模型,它在理解和执行具体指令方面,表现得更加出色——与Google负责任的AI目标对齐。


官方给出的数据对比丨Google


深度学习框架 Keras 的作者 François Chollet 对此称,“最强开源模型易主。”


其次,方便易用。


用户能通过 Colab 和 Kaggle notebooks(可以理解为一个在线notebook,用于运行代码),以及与Hugging Face、MaxText、NVIDIA NeMo和TensorRT-LLM 等流行工具集成。


上线Hugging Face的Gemma丨Hugging Face


Gemma 可以被轻松部署在资源有限的环境中,比如笔记本电脑,台式机,Google Cloud,Vertex AI(训练和部署模型和应用的ML平台)和 Google Kubernetes Engine(托管环境,在这里部署、管理和扩缩容器化应用),以满足开发者不同需求。


尤其是今天很多端侧设备,比如手机、车机、电脑等,都在进行“AI转型”,灵活、运行成本低的轻量级模型,有了更明确的商业前景。


二、大模型怎么还分“开”和“闭”


这一轮生成式 AI 浪潮是由 ChatGPT 掀起的,毫无置疑,对大模型的普及和加速,OpenAI 所起到的贡献也是最大的。“但是名为Open,却正变得越来越封闭”,一些声音说。


Meta、Mistral 因为开源,赢得不少赞誉。开源,是一种“众人拾柴火焰高”的策略,一个开放的生态系统,能吸引开发者加入,他们的生产力“反哺”到模型本身。


对于 Meta 开源LLaMA 2,Yann LeCun(杨立昆)说:“这将改变大模型市场的格局。”


美国斯坦福大学基金会模型研究中心主任 Percy Liang 说:“对于许多应用场景来说,你不需要 GPT-4,相较于一个庞大、复杂的专有模型,一个更可定制、更透明的模型——比如 Llama 2,可能会帮助公司更快地创造产品和服务。”


Mistral 想法与之类似。小模型能将 Agents 运行的计算成本降低,有机会构建更多有意思的应用。


Gemma(7B)用到6万亿Token,效果和Mistral 7B 差不多,之前大家也猜测 Mistral 7B使用了7万亿Token。Gemma再次证明,数据质量足够好(比如Google说Gemma数据集以数学,代码数据为主),小模型的能力仍然能够持续提升。


Mistral AI CEO Arthur Mensch 说:“开源让模型受到公众监督,更加安全。”分歧的声音说,闭源优势在于可控性,和知识产权保护。闭源模型相对成熟,数据质量更有保障。拼模型规模上,开源相对闭源处于劣势,大模型对于资源的消耗,是少有公司能承担的。产生路线的分歧,来自各自的商业逻辑。


Google 开源 Gemma,无论步子大小,是主动出击,还是防御战略,至少为开发者提供了更多选择,对大模型的开源生态注入一股新鲜活力。


三、谷歌曾经Open了哪些AI?


纵观 Google 的历史,你能看到很多其为 AI 开放开源所做的贡献。


1. Transformers


在“谷歌大脑”于2017年的一篇论文中最先提出(Attention Is All You Need),很快成为自然语言处理和电脑视觉领域的主流方案,目前我们谈论的这些“生成式AI大模型”,几乎都是以Transformers为基础的。如那篇论文题目,Transformers的核心机制叫做“自注意力”,简单粗暴地理解,就是让AI获得了分辨数据优先级的能力,从看什么都兴奋语无伦次的“多动症”,变成了“正常人”。


Transformer的开放使用,塑造了我们这个AI时代。


2. TensorFlow


TensorFlow 是一个开源机器学习平台,同样由“谷歌大脑”团队开发,于2015年首次发布,继而迅速成为各类“含 AI 应用”开发者们最常用的创作平台。谷歌在2016年还专门为 TensorFlow 开发了一款“人工智能加速处理器”,TPU——目前也和大家熟悉的GPU一样,被用于各种AI大模型的训练。


3. JAX


JAX 是谷歌开发并开放的一种 Python 机器学习框架,开发者常拿来与 TensorFlow 一起配合使用,甚至有人曾预言它将取代 TensorFlow。


4. AlphaFold


这是一个用来预测蛋白质结构的工具,也属于一种深度学习系统。最早由谷歌在2018年发布,并在2020年更新了第二代版本。“蛋白质结构预测”是生物学和医学中最重要的命题之一,在这个领域的权威会议CASP中,2016年前各类传统方式预测得分最高只有40/100,而AlphaFold在2020年取得了92.4/100的成绩。在新冠疫情期间,AlphaFold还对新冠病毒蛋白质结构的研究起到了重要作用。


而今天 Google 推出 Gemma,再一次掀起构建开源模型的浪潮,抢先了 Llama 3。接下来,就看 Meta 将会如何接招了。


本文来自微信公众号:果壳 (ID:Guokr42),作者:沈知涵,编辑:卧虫