昨晚，「ChatGPT可能已经有了意识」的话题就上了微博热搜。
OpenAI的联合创始人兼首席科学家Ilya Sutskever在接受采访时表示，现在的首要任务已经不是制作下一个GPT或DALL·E，而是研究如何阻止超级AI的失控！
他认为，ChatGPT可能已经有意识，未来超级AI将会成为一种潜在风险。
文章地址：https://www.technologyreview.com/2023/10/26/1082398/exclusive-ilya-sutskever-openais-chief-scientist-on-his-hopes-and-fears-for-the-future-of-ai/
而且未来人类，将会与机器融为一体。
而他自己未来在OpenAI工作的重点，已不是开发更为强大的AI系统，而是要带领「超级对齐」团队，为人类与AI共生的世界，保驾护航。
某种程度上，这才是回归到OpenAI成立的初心——确保AI能为人类服务。
OpenAI的幕后英雄——Ilya Sutskever
在旧金山Mission区一条不起眼的街道上，OpenAI 的联合创始人兼首席科学家Sutskever在公司一栋不起眼的办公楼里完成了这次访谈。
他谈了很多关于颠覆世界技术的下一步发展，以及为什么构建OpenAI的下一代生成模型不再是他工作的重点。
Sutskever说，他的工作重心已经不是构建下一代GPT或DALL-E，而是找出如何阻止人工智能（他认为不是目前的AI，而是一种假想的未来技术，能够全面超越人类智能的AI）的失控。
在他看来，有一天很多人类会选择与机器融合为一体。
Sutskever的谈话内容很多听起来都很疯狂，但已经比前两年他说过的话听起来「理智」多了。
因为他觉得，ChatGPT已经改变了很多人对技术的期望，将很多在普通人看来「永远不会发生」的事变成了「会比你想象的更快发生」。
在预测通用人工智能（他指的是像人类一样聪明的机器）的发展之前，他说：「重要的是，现在这个发展方向已经出现了」，「人类在某个时间点一定会拥有AGI。也许OpenAI会构建它。也许其他公司会建造它。」
OpenAI的首席执行官Sam Altman在夏天的大部分时间都在环球访问，热情地与政客们打交道，并在世界各地挤满人的礼堂发表演讲。
不过Sutskever并不是一个公众人物，他也不接受太多采访。
他说话时从容、有条理。当他思考自己想说的内容以及如何表达时，他会停顿很长时间，像解谜一样翻来覆去地思考问题。
他似乎对谈论自己不感兴趣。「我过着非常简单的生活，」他说。「我上班，然后回家。我不太做太多其他事情。有人会参加很多社交活动。但我不会。」
但当聊到人工智能，以及他在技术背后看到的划时代的风险和回报时，他就变得非常健谈「这将是具有里程碑意义的、惊天动地的，它的出现会改变一切。」
年轻的AI研究人员如何改变了这个世界
Sutskever是图灵奖得主Hinton的学生，在他2000年拜入Hinton门下之时，大多数AI研究人员认为神经网络是死路一条。
但Hinton不这么认为。他当时已经开始训练微型模型，这些模型可以一次生成一个字符的短文本字符串。
Sutskever说：「这就是生成式人工智能的开始。这真的很酷——只是性能还很一般。」
和Hinton一样，他看到了神经网络和深度学习的潜力的。
2012年，Sutskever、Hinton和Hinton的另一位研究生Alex Krizhevsky构建了一个名为AlexNet的神经网络，他们训练该网络来识别照片中的物体，其效果远远好于当时的任何其他软件，这成为了深度学习的大爆炸时刻。
英伟达的黄老板说，当多伦多团队研究AlexNet时，英伟达向多伦多团队提供了一些GPU。
但他们想要最新版本——GTX 580的芯片，不过这款芯片当时一直处于脱销状态，几乎买不到。
黄老板说，Sutskever开车从多伦多去到了纽约居然买到一车GTX580。
「我不知道他是怎么做到的——我很确定用户每人只能买一个。我们有一个非常严格的销售政策，每个玩家只能买一个GPU，但他显然装满了整个后备箱。
但这个装满GTX 580的后备箱改变了世界。」
AlexNet取得成功后，谷歌找上门来。它收购了Hinton的公司DNNresearch，并邀请了Sutskever加入谷歌。
Sutskever在谷歌展示了深度学习的模式识别能力可以应用于数据序列，例如单词、句子以及图像。
「Sutskever一直对语言很感兴趣，」他的前同事、现任谷歌首席科学家Jeff Dean说，「多年来我们进行了很多讨论。Sutskever对技术的发展有很强的直觉。」
但Sutskever并没有在谷歌呆太久。2014年，他被招募成为OpenAI的联合创始人。
在10亿美元的支持下，这家新公司从一开始就将目标设定为开发AGI，但当时，很少有人真的认为这目标能很快达到。
但Sutskever加入后，设定这样的目标似乎就变得合理了起来。
「Y Combinator 」投资董事总经理Dalton Caldwell表示，Sutskever早就名声在外了。
「我记得Sam Altman称Sutskever为世界上最受尊敬的研究人员之一，」Caldwell说。「他认为Sutskever能够吸引很多顶尖的人工智能人才加入。
他甚至提到，Yoshua Bengio认为，不太可能找到比Sutskever更好的候选人来担任OpenAI的首席科学家。」
OpenAI的第一个大语言模型在2016年问世。随后又接着推出了GPT-2和GPT-3，然后是DALL-E。
没有人建造出如此好的东西。每一次发布新产品，OpenAI都提高了人们对AI可能性的认知上限。
Ilya：我们一开始觉得ChatGPT应该没什么人会用
去年11月，OpenAI发布了ChatGPT，重新包装了现有技术，直接颠覆了整个行业。
但是当时，OpenAI并没有意识到这一切。
Sutskever表示，公司内部的期望已经低得不能再低了，「我承认，这让我有点尴尬——我不知道我是否应该说出来，但管他呢，事实就是这样——当我们制作ChatGPT时，我并不觉得这个东西到底有啥好的。
当你问它一个事实问题时，它会给你一个错误的答案。我认为这应该不会有什么人用。人们会说，你为什么要做这种东西，这东西很无聊！」
Sutskever说，ChatGPT最吸引人的地方就是方便——那时候，ChatGPT背后的大型语言模型已经存在了几个月了。
但将它包装在一个易于访问的界面中，并免费让所有人用，让数十亿人第一次意识到OpenAI和正在构建一个什么产品，这还是第一次。
「第一次的体验真的让人着迷，」Sutskever说。「当你第一次使用它时，我觉得几乎是一种通灵一样的体验。你会说：天哪，这台计算机似乎能理解我在说什么。」
OpenAI在不到两个月的时间里就积累了1亿用户，其中许多人都被这个令人惊叹的新玩具弄得眼花缭乱。
存储公司Box的首席执行官Aaron Levie在推特上总结了ChatGPT发布后一周后整个行业的氛围：
「ChatGPT是技术领域罕见的时刻之一，在这里你可以看到未来一切都将被颠覆的那一线曙光。」
「AGI在机器学习领域不再是一个贬义词，」他说，「这是一个很大的变化。人们之前的态度是：人工智能没啥用，每一步都非常困难，道路会非常曲折。
当人们炒作AGI时，AI研究人员会说——问题太多了，很多问题解决不了。但有了ChatGPT，感觉就开始不一样了。」
这种转变在一年前才开始发生？「这一切的发生都是因为ChatGPT，」他说。「ChatGPT让机器学习研究人员得以实现自己的梦想。」
而OpenAI的科学家从一开始就是布道者，他们一直通过博客文章和巡回演讲来激发这些梦想。
「现在终于有人在谈论人工智能将走多远了——人们在谈论AGI，或者说超级智能。」不仅仅是研究人员。「各国政府正在讨论这个问题，」Sutskever说。「这很疯狂。」
神经网络可以产生意识
Sutskever坚持认为，所有这些关于还不存在（也可能永远不会存在）的技术的讨论是一件好事，因为它让更多的人意识到那些他们自己已经认为是理所当然的未来。
「你可以用AGI做很多令人惊奇的事情，不可思议的事情：自动化医疗保健，使其便宜一千倍，效果好一千倍，治愈如此多的疾病，真正解决全球变暖问题，」他说。「但也有很多人担心：‘天啊，AI公司能成功管理这项巨大的技术吗？’」
这样看来，AGI听起来更像是一个实现愿望的精灵，而不是现实世界中将要发生的事情。你可以对它许下任何你的愿望。
当Sutskever谈论AGI时，他到底在谈论什么？「AGI并不是一个科学术用语，」他说。「它是一个有用的门槛标准，一个参考点。」
在他看来「如果人类可以做到的事，AI也可以做到，那这就是AGI。」
虽然很多研究人员不相信真的会有AGI，但是这个愿景一直激励着Sutskever。
他将神经网络和大脑的运作方式进行了比较。两者都接收数据，聚合来自该数据的信号，然后基于一些简单的过程来决定（神经网络中的数学、大脑中的化学物质和生物电）传播或不传播这些信号。
虽然这个比喻简化了很多细节，但核心就是这样。
「如果你相信这一点——如果你允许自己相信这一点——那么就会产生很多有趣的衍生想法，」Sutskever说。
「如果你有一个非常大的人工神经网络，它应该做很多事情。如果人脑可以做某事，那么大型人工神经网络也可以做类似的事情。」
「如果你足够认真地意识到到这一点，那么一切都会水到渠成，」他说。「我的大部分工作都可以用这句话这个来解释。」
2022年2月，Sutskever发帖称，「今天的大型神经网络可能具有轻微的意识」
（谷歌DeepMind首席科学家、伦敦帝国理工学院教授、电影《机械姬》的科学顾问Murray Shanahan在下面回复到「你这好像是在说，这一大片麦田里已经有了轻微的兰州拉面」）。
解决一个还不存在的问题——「超级通用人工智能」
当其他人苦苦思索如何让机器能够与人类智能相媲美时，Sutskever却在为能够超越人类能力的机器做准备了。
他将这种现象称为超级人工智能：「他们会更深入地看待事物。他们会看到我们看不到的东西。」
他所说的比人类聪明的智能是什么意思？
「我们在AlphaGo中看到了一个的超级智能的影子，」他说。
2016年，DeepMind的下棋人工智能以4-1击败了世界上最好的围棋棋手之一李世石。
「它弄清楚了如何以不同于人类方式下围棋」Sutskever说。「它提出了全新的想法。」
Sutskever提到了AlphaGo最有名的第37步棋。在与李世石的第二场比赛中，人工智能的一步棋让评论员感到困惑。
他们认为AlphaGo下了一步昏招。但事实上，它下了棋史上从未见过的一步制胜棋。
「想象一下这种程度的洞察力，出现在社会所有领域时会发生什么」Sutskever说。
这个想法导致Sutskever做出了他职业生涯中最大的转变。
他与OpenAI的科学家同事Jan Leike一起成立了一个团队，专注于他们所谓的「超级对齐」。
对齐意思是让人工智能模型做你想做的事，仅此而已。
「超级对齐」是OpenAI自己提出的概念，意思是控制超级智能做人类想让它做的事情。
OpenAI的目标是提出一套用于构建和控制这种未来技术的故障安全程序。OpenAI表示将分配其计算资源的五分之一来解决该问题，希望能在四年内解决它。
「现有的对齐方法不适用于比人类更聪明的模型，因为它们从根本上假设人类可以可靠地评估人工智能系统正在做什么，」Jan Leike说，「随着人工智能系统变得更加强大，它们将承担更艰巨的任务。」
这将使人类更难评估它们。
「在与Ilya一起组建超级对齐团队时，我们已经着手解决这些未来的对齐挑战，」他说。
谷歌首席科学家Dean表示：「不仅要关注大型语言模型的潜在机遇，还要关注其风险和缺点，这一点非常重要。」
对于Sutskever来说，「超级对齐」迟早要做的事情。「这是一个未解决的问题，」他说。
他认为，像他这样的核心机器学习研究人员正在致力于解决这个问题。「我这样做是为了我自己的利益，」，「任何人构建的任何超级智能都不能失控，这一点显然很重要。」
超对准的工作才刚刚开始。Sutskever表示，这需要研究机构进行广泛的变革。但他心中有一个想要设计的保障措施的理想标准：一个像父母对待孩子一样对待人类的系统。
「在我看来，这是黄金标准，」他说。「人们真的很关心自己的孩子，没有人会否认这一点。」
「一旦你克服了流氓人工智能的挑战，然后呢？在一个拥有更智能的人工智能的世界里，人类还有生存空间吗？」
「一种可能性——以今天的标准来看可能很疯狂，但以未来的标准来看不会那么疯狂——就是许多人会选择成为人工智能的一部分。」Sutskever表示， 「一开始，只有最勇敢、最有冒险精神的人才会尝试这样做。也许其他人会效仿，也可能不会」
参考资料：
https://www.technologyreview.com/2023/10/26/1082398/exclusive-ilya-sutskever-openais-chief-scientist-on-his-hopes-and-fears-for-the-future-of-ai/