连发13条推文——OpenAI超级对齐负责人Jan Leike，也就是刚刚追随Ilya离开公司的那位，自曝离职的真正原因，以及更多内幕。


一来算力不够用，承诺给超级对齐团队的20%缺斤少两，导致团队逆流而行，但也越来越困难。


二来安全不重视，对AGI的安全治理问题，优先级不如推出“闪亮的产品”。



紧接着，更多的八卦被其他人挖出来。


比如OpenAI离职成员都要签一份协议，保证离职后不在外说OpenAI坏话，不签的话视为自动放弃公司股份。


但仍然有拒不签署的硬骨头出来放猛料（笑死），说核心领导层对安全问题优先级的分歧由来已久。


去年宫斗至今，两派的观念冲突到达了临界点，这才看上去颇为体面地崩了。


因此，尽管奥特曼已经派了联合创始人来接管超级对齐团队，仍旧不被外界看好。


冲在最一线的推特网友们感谢Jan有勇气说出这个惊人大瓜，并感叹：我勒个去，看来OpenAI真的不太注重这个安全性！



不过回过头来，如今执掌OpenAI的奥特曼这边，暂时还坐得住。


他站出来感谢了Jan对OpenAI超级对齐和安全方面的贡献，表示Jan离开，他其实很难过、很舍不得。


当然了，重点其实是这一句：“等着，过两天我会发一篇比这更长的推文”。



承诺的20%算力居然有画大饼成分


从去年OpenAI宫斗到现在，灵魂人物、前首席科学家Ilya就几乎不再公开露面、公开发声。


在他公开宣布离职前，就已经众说纷纭。很多人认为Ilya看到了一些可怕的事情，比如可能毁灭人类的AI系统啥的。


网友：我每天醒来第一件事就是想Ilya看到了啥


这次Jan算是摊开了说，核心原因就是技术派和市场派对安全方面的优先等级产生了不同看法。


分歧很严重，目前后果嘛……大家也都看到了。


据Vox报道，熟悉OpenAI的消息人士透露，更注重安全的员工已经对奥特曼失去了信心，“这是一个信任一点一点崩溃的过程”。


但如你所见，在公开平台和场合，没有太多离职员工愿意公开谈论此事。


一部分原因是OpenAI一直以来，都有让员工签署带有非贬低协议的离职协议的传统。如果拒绝签署，就等于放弃了此前拿到的OpenAI的期权，这意味着出来说话的员工可能会损失一笔巨款。


然而，多米诺骨牌还是一张接一张地倒下了：Ilya的辞职加剧了OpenAI近期的离职潮。


紧随其后宣布离职的，除了超级对齐团队负责人Jan以外，目前有至少五个安全团队成员离职。


其中还有个没签署非贬低协议的硬骨头，Daniel Kokotajlo（以下简称DK哥）。


去年DK哥写道，他认为AI发生生存灾难的可能性为70%


DK哥在2022年加入OpenAI，在治理团队工作，主要工作内容是引导OpenAI安全部署AI。


但他也在近期辞职了，并且对外接受了采访：


OpenAI正在训练更强大的AI系统，目标是最终全面超越人类智能。


这可能是人类有史以来发生过的最好的事情，但如果我们不小心行事，也可能是最糟糕的事情。


DK哥阐述，当年，他加入OpenAI，满怀对安全治理的抱负和希望，期望OpenAI越靠近AGI能越负责任。但团队中许多人慢慢意识到，OpenAI不会这样了。


“逐渐对OpenAI领导层以及他们负责地处理AGI的能力失去了信心”，这就是DK哥辞职的原因。


对未来AGI安全工作的失望，是Ilya加剧的离职潮中众人离开的一部分原因。


还有一部分原因，是超级对齐团队，恐怕没有外界想象的那样能资源充沛地进行研究。


即便超级对齐团队满负荷工作，团队也只能获得OpenAI承诺的20%的算力。


而且团队的一些请求经常被拒绝。


当然是因为算力资源对AI公司来说重要至极，每一点都要合理分配；也因为超级对齐团队的工作是“解决如果公司成功构建AGI，实际上会出现不同类型的安全问题”。


换句话说，超级对齐团队对应的是OpenAI需要面临的未来的安全问题——划重点，是未来的、不知是否会出现的。


截至发稿，奥特曼还没有发出他那篇“（比Jan爆料内幕的）更长的推文”。


但他简单提到，Jan对安全问题的担忧是对的，“我们还有很多事情要做；我们也致力于这样做。”


就这一点，大伙儿可以先搬个小板凳等等，到时候咱一起第一时间吃瓜。


综上，现在超级对齐团队走了好些人，尤其是Ilya和Jan的离职，让这个风雨之中的团队面临群龙无首的窘况。


后续安排是联合创始人John Schulma来接手，但不再有专门的团队。


新的超级对齐团队将是联系更松散的小组，成员分布在整个公司的各个部门，OpenAI发言人将其描述为“更深入地整合”。


这一点也为外界所质疑，因为John的原本的全职工作是确保目前的OpenAI产品的安全问题。


不知道突然多了份责任后，John能不能忙得过来，好好领导关注现在和关注未来安全问题的两个团队？


Ilya和Altman之争


如果把时间线拉长，其实今天的分崩离析是OpenAI“宫斗”Ilya-Altman之争的续集。


时间回溯到去年11月，当时Ilya还在，他同OpenAI董事会合作试图解雇奥特曼。


当时给出的理由是，他在沟通中不够真诚——换言之，我们不信任他。


但最终结果显而易见，奥特曼带着他的“盟友”威胁加入微软，结果董事会屈服，罢免行动失败。Ilya离开董事会。而奥特曼这边，选择了对他更为有利的成员加入董事会。


在这之后，Ilya就在社交平台上消失了，直至前几天官宣离职。而且据说，他已经大约6个月没有出现在OpenAI办公室了。


当时他还留下一条耐人寻味的推文，但很快就删除了。


在过去的一个月里，我吸取了许多教训。其中一个教训是，“在士气提高之前，殴打会一直持续下去”。这句话比它应有的含义更经常地适用。



但据内部人士透露，Ilya一直远程共同领导着超级对齐团队。


而在奥特曼这边，员工们对他最大的指控就是言行不一，比如他声称自己想优先考虑安全，但他的行为却很矛盾。


除了原本承诺的计算资源没有给到外。还有像前阵子找沙特等筹集资金来造芯。


那些注重安全的员工懵了。


如果他真的关心以尽可能安全的方式构建和部署人工智能，就不会这么疯狂地积累芯片，来加速技术的发展。


更早之前，OpenAI还从一家奥特曼投资的一家初创公司订购芯片。金额高达5100万美元（约合人民币3.6亿元）。


而当时宫斗那几天，OpenAI前员工的举报信中对于奥特曼的描述似乎也再一次印证了这件事。



也正因这样从始至终“言行不一”的操作，员工们逐渐失去了对OpenAI以及奥特曼的信心。


Ilya是这样，Jan Laike是这样，超级对齐团队也是这样。


有贴心的网友整理出这几年间，发生的相关事情的重要节点——先来个贴心提示，下文提到的P（doom），指“AI引发世界末日场景的可能性”。


  • 2021年，GPT-3团队负责人因“安全”问题离开OpenAI，创立Anthropic；其中一位认为P（doom）为10％～25%；


  • 2021年，RLHF安全研究负责人离职，P（doom）为50%；


  • 2023年，OpenAI董事会解雇奥特曼；


  • 2024年，OpenAI解雇两位安全研究员；


  • 2024年，一位特别关注安全的OpenAI研究员离职，他认为P（doom）已经在70%。


  • 2024年，Ilya、JAN Laike离职。



技术派还是市场派？


大模型发展至今，“如何实现AGI？”其实可归结为两条路线。


技术派希望技术成熟可控再应用；市场派则认为边开放边应用“渐进式”走到终点。


这也是Ilya-Altman之争的根本分歧，即OpenAI的使命是专注于AGI和超级对齐，还是专注于扩展ChatGPT服务？



ChatGPT服务规模越大，意味着需要的计算量越大；这也就会占用AGI安全研究的时间。如果OpenAI是个致力于研究的非盈利组织，他们应该将更多时间花费在超级对齐上。


而从OpenAI对外的一些举措来看，结果显然不是，他们只是想在大模型这个竞争中拔得头筹，为企业和消费者提供更多的服务。


这在Ilya看来这是件非常危险的事情。即便我们不清楚随着规模的扩大会发生什么，但在Ilya看来，最好的办法就是安全第一。


有了开放和透明，我们人类才能安全地构建AGI，而不是以某种隐秘的方式。


但奥特曼带领之下的OpenAI，似乎既不追求开源，也不追求超级对齐。相反，它一心只想朝着AGI的方向狂奔，同时试图建立一条护城河。


那么最后是AI科学家Ilya的选择正确，还是硅谷商人奥特曼能走到最后呢？


现在还无从得知。但至少OpenAI现在面临着关键抉择。


有业内人士总结了两个关键信号：


  • 一个是ChatGPT是OpenAI的主要收入来源，如果没有更好的模型支撑，就不会免费向所有人提供GPT-4；


  • 另一个则是如果离职的团队成员（Jan、Ilya等）不担心很快会有更强大的功能，他们就不会关心对齐的问题……如果AI停留在这个水平上，基本上也无所谓。



但OpenAI的根本矛盾没有得到解决，一边是盗火者一样的AI科学家对负责任发展AGI的忧虑，另一边则是硅谷市场派对于用商业化方式推动技术可持续的急迫。


两方已经不可调和，科学派正在完全出局OpenAI，而外界至今也不知道，GPT究竟到哪一步了？


迫切想要知道这个问题答案的吃瓜群众都有点累了。


一种无力感涌上心头，就像Ilya的老师、图灵奖三巨头之一Hinton说的那样：“我老了，我担忧，但我无能为力了”。


参考链接：

[1]https://www.vox.com/future-perfect/2024/5/17/24158403/openai-resignations-ai-safety-ilya-sutskever-jan-leike-artificial-intelligence

[2]https://x.com/janleike/status/1791498174659715494

[3]https://twitter.com/sama/status/1791543264090472660


本文来自微信公众号：量子位 （ID：QbitAI），作者：衡宇、白交