过去6个月，ChatGPT的爆火，彻底让Meta坐不住了。


从2月开始开源大模型系列LLaMA的发布，到Llama 2升级、再到编码模型Code Llama，Meta可谓是赌上所有去ALL IN AI。


在开源社区，Llama系列模型的免费研究和商用，直接点燃了平替模型裂变的火种。


可是，Meta在风光的同时，AI团队正面临着离职潮。


The Information独家报道，因内部算力之争，LLaMA和OPT项目的团队成员，大半已经辞职。



甚至，Meta直接弃掉他们正研发能与PaLM匹敌的模型，将Meta AI的两个实验室团队重组，以专注研发Llama 2。


Meta大部分研究人员的离职，恰恰暴露了，算力短缺是布局生成式AI的核心难题。


LLaMA论文14位作者，一半离职


在外界看来，科技巨头拥有比大多数公司更多的计算资源。一些公司包括Meta在内，在招聘AI研究人员时，一致强调自己是“GPU RICH”。


但事实上，自己心知肚明，Meta的计算资源供应方面也存在限制。


由此，算力纷争便在内部团队开启，让许多人弃Meta而去。


具体来讲，今年2月发布的初代LLaMA模型中的14位作者，已经超过一半的人全部离职。


有的转向AI初创公司，有的加入了科技巨头。


论文地址：https://arxiv.org/pdf/2302.13971.pdf


离开Meta的研究科学家和工程师包括原LLaMA论文的作者之一Timothée Lacroix、Guillaume Lample和Marie-Anne Lachaux。


他们现在在法国初创公司Mistral AI工作，该公司由Lacroix和Lample于6月共同创办。



还有其中的一位作者——Meta AI的研究总监Armand Joulin已经在5月离开了Meta，目前已加入苹果。


Meta人工智能研究实验室“基础AI研究”的负责人Joelle Pineau在接受采访时表示：


留住和吸引优秀人才可能是我花费时间最多的地方，因为没有优秀的研究人员，我什么都做不了。


Meta正在面临的离职潮，恰恰凸显了大型科技公司在应对人工智能人才需求激增的挑战。


大模型浪潮当前，各大科技公司唯恐落后，急于将AI接入自家产品和服务。


Riviera Partners的高管Kyle Langworthy称，“求贤若渴”的公司们，都排着队想挖角Meta的人工智能研究人员。


2月份的时候，继LLaMA的发布点燃社区热情后，小扎曾连夜对外官宣了公司的大动作：成立顶级产品团队，专注AIGC。


简言之，小扎将Meta未来的核心重点放在，生成式人工智能，以试图追赶谷歌、微软、OpenAI等竞争对手。


而曾经在2021年All In的“元宇宙”，也被放在了次要的位置。



紧接着，Meta时不时地发布并开源了在人工智能领域的最新研究，包括通用视觉模型SAM“分割一切”、多模态AI模型ImageBind、Llama2、Code Llama等等。


这些研究一经发布，都在开源社区引起了很大的反响，得到一致好评。


而现在，随着有经验的研究人员流失，Meta在追赶竞争对手的路上多了一重阻碍。


那么，具体是怎么回事，让这些高级研究人员愤而离去？


LLaMA和OPT的算力之争


2013年，Yann LeCun入职Meta后，担任AI研究主管时成立了人工智能研究实验室Meta AI（原FAIR）。


除了在加利福尼亚州门洛帕克和纽约设立主要实验室（LeCun的所在地），Meta AI还在蒙特利尔（Pineau的所在地）、巴黎、伦敦和西雅图设有分部。



Meta AI实验室的成立，主要致力于AI的研究，将人工智能应用在翻译、MRI扫描等各种场景。


但是，ChatGPT横空出世之后，公司的高管们对AI更深层次融入产品的要求，变得更加急切。


其实，在ChatGPT发布之前，Meta也一直在开发自己的LLM。


2022年5月，Meta AI的一个北美团队对外公布，并开源了大模型OPT-175B。


Meta声称，这个模型的能耗要比GPT-3低，尽管这两个模型在训练期间学习的内容，在数量上是一样的。



几个月后，该团队着手开发第二个更大的模型，旨在与谷歌的PaLM竞争。


与此同时，另一个位于巴黎的Meta AI团队，已经着手开发一个单独的大型语言模型，也就是LLaMA。


知情人士表示，这个模型比OPT要小。研究团队认为较小的模型在推理时会更高效。


随之问题就来了，分别来自北美和巴黎两个实验室的团队，开启了获取算力资源之争，进而加剧了内部团队的纷争。


尤其是，LLaMA团队感觉自己被忽视了，自己的模型小，但获得的计算资源比北美的OPT团队少得多。


“基础AI研究”的负责人Joelle Pineau表示，


关于在Meta如何分配计算资源的决策，是由来自业务不同部门的领导人组成的小组，大致每月做出一次。


最终分配多少，分配给谁，取决于组织优先事项，以及项目距离发布还有多远来决定。


如果Meta AI的员工就分配发生争议，就会提交到上级，也就是Pineau这一层去处理。


在采访中，Pineau承认在LLaMA和OPT团队之间在算力分配上有些紧张，并补充道，“我们试图找到一条路，听取每个人的发声，即使无法去满足每个人的需求。”


对某些研究人员来说，这感觉像是一场竞赛。


Meta AI的一些高管也在质疑，为什么两个团队都做着相似的项目，但又互相竞争有限的资源。


2月巨变


两个团队之间的紧张关系，到今年2月达到了高潮。


恰在这个月，为了追赶竞争对手，Meta AI首次将LLaMA作为开源模型发布，授权用于研究目的。


其实，在发布的前一周，Meta AI的联合主管兼巴黎分部负责人Antoine Bordes就离开了Meta，而对外的离职原因是⼯作时间与加州⼀样让自己筋疲⼒尽。


现在，Bordes已经加入了人工智能公司Helsing。



知情人士表示，他的离职进一步，让LLaMA团队与北美的高管隔离开来。另外，Pineau也承认了Bordes的离职为团队“带来了一些不确定性”。


这不仅仅是LLaMA团队研究士气受挫的问题，与此同时，OPT团队在过去几个月里，一直也在面临人员流失的问题。


据称，OPT团队正在研发的更大型的模型，直接被Meta放弃。也不难理解，OPT的人员流失，和这个决定有着直接的关系。


根据研究作者Linkedin个人资料，19位OPT论文的作者中，也有一半人已离职Meta。


论文地址：https://arxiv.org/pdf/2205.01068.pdf


“基础AI研究”的负责人Pineau无奈地表示，“当所有团队都想在这个时候升级模型，那时你要么选择其中一个，要么就让他们合作。”


团队重组，定位不清


在这一切发生的同时，Meta AI也被公司的频繁地变动搞得焦头烂额。


自从去年11月开始，小扎进行了数次全公司范围的裁员。其中，Meta AI也没能幸免。


今年2月，Meta AI领导人决定将相互竞争LLaMA和OPT团队的一些成员聚集起来，正式成立“生成式AI”团队（由前苹果高管Ahmad Al-Dahle负责），同时也从Meta AI抽调了大量人员。


其实，我们在Llama 2论文中，可以看到不少LLaMA和OPT作者的身影。


比如OPT的团队中，Moya Chen、Todor Mihaylov、Punit Singh Koura加入“生成式AI”团队。


初代LLaMA团队中，Hugo Touvron、Thibaut Lavril、Xavier Martinet、Marie-Anne Lachaux、Naman Goyal、Aurelien Rodriguez加入“生成式AI”团队。


有趣的是，在Llama 2的致谢中，提到的4位最先发起这项研究的团队，其中三位已经离职，目前仅有Edouard Grave还在。



尽管备受赞誉的开源模型LLaMA取得了不小的成功，但随着Meta对人工智能研究态度的不断变化，研究人员之间的紧张关系仍在酝酿。


传统上来讲，Meta AI拥有一种由研究人员主导的自下而上的文化，从而使团队能够专注于AI领域，并取得突破性的进展。


但随着小扎越来越倾向于将AI融入Meta的应用程序之中，Meta AI的关注点也随之缩小——解散了那些不以产品为导向的研究，比如蛋白质折叠。



与此同时，新的项目也在生成式AI团队和Meta AI之间“反复横跳”。


比如，Meta在7月发布的Llama 2，以及在8月发布的专攻代码生成的Code Llama，就是分别由两个团队负责的。




对此，Pineau表示，“这个领域发展得实在是太快了，我们现在还在探索，哪个项目应该由Meta AI来负责？哪个项目又该由生成式AI团队来负责？”


台前，开源模型光鲜靓丽，而幕后，AI研究人员离职潮涌、算力纷争、团队重组，为Meta倾力AI赶超对手带来了许多不确定性因素。


参考资料：

https://www.theinformation.com/articles/inside-metas-ai-drama-internal-feuds-over-compute-power?rc=epv9gi


本文来自微信公众号：新智元 （ID：AI_era），作者：桃子、好困