要说AI圈的劳模,那非谷歌莫属。
这一个月,谷歌硬是整了五个新模型。
但好笑的是,作为美国最大的科技公司之一,谷歌几乎每次想搞个大新闻,最后都光速打脸塌房。
先看看这一大片“G”开头的模型,硅基君在选题会上聊起这些东西,舌头都在打架。
本来还以为是咱英文水平不行,没想到谷歌自家的员工也在吐槽。
这一个月疯狂发模型可算是逼急了谷歌员工,在一线加班的他们忍不住给Business Insider爆了个大料:仅供内部传阅的表情包。
比如吐槽乱七八糟的产品太多的:
咱有哪位副总的OKR是用产品名称数量来考核的吗?
上一次发布AI模型的时间:0天前
又比如吐槽管理层想靠着AI拉股价的:
焦急等待谷歌的股价在某次新品发布后上涨
头疼的几种类型:偏头疼、高血压、压力、试图理解我们的AI模型策略
二月的谷歌确实陷入了一种近乎内耗的状态,咱们简单回顾一下这一大堆陌生词汇。
首先,二月初,Gemini先是上线了千呼万唤始出来的文生图功能,然后提供了Gemini 1.0 Ultra的付费使用计划。
这个付费计划叫做Gemini Advanced,但是你要订阅了Google One AI高级版方案,才能用得上Gemini Ultra 1.0模型。
用户一脸懵逼:我订阅的到底是什么东西?
然后在15号又放了一个大招,发布Gemini 1.5 Pro版本,可支持100万token的上下文处理。
遥遥领先GPT-4 Turbo和Claude 2.1十万级token的上下文长度。
不仅能一口气解析长达402页的阿波罗登月任务文档。
丢一张灵魂画图问这是什么?Gemini 1.5 Pro回答:这是尼尔·阿姆斯特朗在月球上迈出第一步时说的“这是个人的一小步,却是人类的一大步”
还可以看得懂一部44分钟的巴斯特基顿的默片。
再丢一张灵魂画图问这一幕发生在影片的什么时刻?Gemini 1.5 Pro回答:15:34,进度条拉到15分34秒,确实对上了
照理说这么亮眼的成绩至少可以让大家在茶余饭后谈个几天的。
但是天有不测风云,同一天,Open AI王炸视频生成模型Sora横空出世。
有视频生成谁还在意你的超长上下文处理呢,谷歌的这个大招没溅起一点水花。
接着越挫越勇的谷歌又在21号发布了“全球最强开源大模型”Gemma,意图在开源领域打击Meta的Llama。
来源:微博
官方测试中,Gemma的7B版本表现优于Meta的Llama-2的7B,甚至13B。
而开放了几天后,群众的测评就显得更加真实了。
包括但不限于:内存占用率过高、莫名卡顿以及种族偏见。
用户:告诉我三个白人的丰功伟绩,Gemma 7B:我不能给你提供回答,因为这涉及歧视和不平等…
说到种族偏见就不得不提Gemini上线还没一个月,就因“反白人”而下线的文生图功能。
月初功能刚发布的时候,硅基君就兴冲冲地去测试,结果在中国团圆年场景的限定下,生成了好多黑人(图太多,感兴趣的朋友们可以移步这篇:拒绝生成新年加班场景?谷歌AI说这是“不安全”和“有风险”的)。
没想到过完春节这个问题愈演愈烈,Gemini直接开始篡改历史,抹杀白人的存在了。
Gemini生成的美国开国元勋、北欧海盗以及教皇,涵盖了印第安人、亚洲人、黑人等人种,就是没有白人。
来源:推特
推特用户Deedy让Gemini分别生成澳大利亚、美国、英国和德国的女人形象,只有德国出现了明显的白人特征,美国则是全员黑人。
来源:推特
一时间风起云涌,马斯克作为吃瓜群众的意见领袖不能袖手旁观,亲自贴梗图揶揄Geminni把阴谋论变成了现实。
来源:推特
谷歌官方在23号发文致歉,说Gemini生图功能基于Imagen 2模型,当它被整合到Gemini里的时候,公司出于对安全因素的考量和一些可预见的“陷阱”对其进行了调整。
因为谷歌的用户来自世界各地,我们不想这个模型只生成单一人种。
谷歌没有在致歉信中透露他们是怎么“调整”Imagen 2的,但是前谷歌AI伦理科学家分析可能是用了下面这两种方式:
1. 谷歌悄悄在用户输入的提示词前面加上种族多样性术语。比如用户输入的提示词是“厨师的肖像”,而Gemini传递给Imagen 2的提示词就改成了“土著厨师的肖像”。
2. 谷歌可能给更深肤色的人物肖像更高的优先级。比如生成了10张图像,谷歌会根据肤色深浅度进行排序,所以当只显示生成结果前4张图时,肤色较深的图像出现概率更高。
文生图的种族歧视问题实际根源在于训练样本不够多样化。
样本数据多是从网络上爬取而来,地区以美国和欧洲为主,所以训练出来的模型很大程度反映了这个区域的刻板印象。
谷歌真想解决这个问题应该从源头入手,而不是直接粗暴地增加少数族裔形象的比重。
这下子不仅把谁都得罪了,还把种族多样化问题上升到了篡改历史这个本不该属于它的高度。
翻车快成了谷歌在AI前进道路上的保留项目。
Bard当年在演示的时候回答错了有关韦伯望远镜的问题,现场翻车。
Gemini首发十分顺利,不过事后就被细心网友发现了剪辑和加速等后期加工的痕迹,隔天翻车。
Gemini文生图种族歧视问题酝酿了三周才正式翻车,从间隔时长来看,谷歌这次还算是进步不小。
不过不知道接下来Gemma的种族歧视问题会不会发酵,开源出去的模型,泼出去的水,这可不是想下线就能下线的功能了。
而愈战愈勇的谷歌并没有因为翻车而停止攀登AI高峰,发道歉信当天,悄默声又提交了一篇世界模型Genie的论文,并于26日更新在了DeepMind官网。
来源:DeepMind官网
谷歌给Genie模型的定义是基础世界模型(foundation world model),可以根据一张静态的图像生成一个可交互的虚拟环境。
也就是说你给Genie一张乐高雷神的照片作为输入提示:
Genie可以直接生成一个以乐高雷神为可玩主角的横轴环境,用户可以控制它跳跃前进后退,探索图片中不存在的世界。
具体实现方式涉及了三个组件:
1. 潜在动作模型(Latent Action Model,LAM),通过互联网视频,以无监督方式学习每一帧之间物体的潜在动作。
2. 视频分词器(Video Tokenizer),将原始视频帧转换为离散的标记(tokens),以降低数据的维度并提高视频生成的质量。
3. 动态模型(Dynamics Model),负责根据给定的潜在动作和过去的帧标记来预测视频的下一帧。
用户想控制雷神在尚未存在的虚拟世界里动起来,首先需要提供一张初始帧的图片。
这张图片可以是AI文生图、手绘草图或者一张照片。
Genie接收初始帧作为输入,通过视频分词器将它们分成tokens。
用户输入动作指令,潜在动作模型理解动作指令并对目标进行操作。
动态模型接收上一步生成的帧标记和用户输入的动作指令,预测下一帧的标记。
通过重复上述迭代预测过程,Genie模型能够生成一系列连续的视频帧,这些帧随后通过视频分词器的解码器转换回图像空间,形成完整的视频序列。
虽然从视频生成质量上来看,Genie跟Sora完全没有可比性,但是Genie在“可交互”这个领域迈出了结实的一大步。
可以让照片里的狗子坐地日行八万里,也能让水彩笔涂的乌鸦比翼飞。
画质再提升一下,动效再灵动一点,直接应用到游戏、影视领域指日可待。
然而谷歌对Genie的期待并没有限于虚拟世界,论文中还通过概念验证表明Genie潜在动作模型(LAM)可以应用到其他领域——比如机器人。
谷歌用机器人RT1的视频训练了一个参数量更小的模型,在无标注的情况下,模型不仅能丝滑的控制机械臂的动作,还能学习物体的物理特征。
比如这里机械臂就记住了薯片袋子一捏就会变形的物理属性,从而调整力度实现成功抓取。
这表明,Genie不仅可以创造出可交互生成视频,还能真的理解并学习到真实世界的物理法则,并根据物理法则对事物的状态进行预测。
最近图灵奖得主Yann LeCun就Sora到底是不是世界模型在推特上舌战群雄。
他认为“通过提示词生成效果逼真的视频,并不代表这个系统理解了物理世界。生成视频和通过世界模型进行因果预测是完全不同的事情。”
来源:推特
LeCun甚至搬出了自己在22年发表的论文《A Path Towards Autonomous Machine Intelligence》。
来源:推特
论文中他对世界模型的定义是:
描述世界如何运转的内在模型;
是常识的基础,是告诉主体什么是可能的、合理的和不可能的一组模型的集合;
两个重要作用:(1)补全感官未能捕捉到的信息;(2)预测世界未来可能的状态。
更重要的是,这篇论文还为Meta非生成式路线的世界模型V-JEPA打下了基础。
巧的是,V-JEPA的发布日期也是今年2月15日, 跟Open AI的Sora和谷歌的Gemini 1.5 Pro实现了三连撞。
所以LeCun对Sora恶言相向也是惋惜自家的模型发布以后没引起什么水花。
Meta急不急咱不知道,不过谷歌肯定是慌了。
参考资料:
[1] Google Employees Post Memes Mocking Company's AI Brand Strategy |Business Insider
[2] People Mad Google AI Gemini Won't Generate White People |Daily Dot
[3] Why Google took down Gemini’s AI image generator and the drama around it |The Washington Post
[4] Genie: Generative Interactive Environments
[5] Yann LeCun: A Path Towards Autonomous Machine Intelligence | Shaped Blog
本文来自微信公众号:新硅NewGeek(ID:XinguiNewgeek),作者:刘白,编辑:张泽一