欧洲人工智能产业在全球分工里找到了自己的定位：开会。


ChatGPT横空出世的2023年，欧洲能喊得上名号的全球性AI峰会有近20个，大约是美国的3倍、中国的5倍[1]。在人工智能权威杂志（AI Magazine）年末总结的“2023 Top10 AI Events”中，欧洲承办的会议占比高达70%[2]。


如此高密度的文山会海，显性成果只有一个——推出了以《人工智能法案》为代表的一系列管理办法。


一系列监管举措逗乐了大洋对岸的美国人，纽约研究机构CB Insights的首席执行官表示，欧洲现在拥有的AI法规比像样的AI公司还要多：“衷心祝贺欧盟制定了具有里程碑意义的AI立法，继续努力做一个技术创新的空心市场吧[3]”。


抛开讽刺挖苦的成分，欧洲在人工智能领域的建树的确逊色，独角兽公司的稀有程度也堪比野生雪豹。


去年召开的VivaTech峰会上，法国总统马克龙就点名表扬了一家来自革命老区巴黎的AI公司Mistral，称其为“法国的OpenAI”。


Mistral的知名度不如OpenAI，但包括英伟达、Salesforce和谷歌前任董事长施密特在内的这些投资者，暗示了它的份量。去年底，Mistral在推特上低调发布了其开源模型Mixtral 8x7B，迅速引爆了各大开发者社群。


但这样一家被马克龙称为“欧洲的希望”的公司，它的每一个横截面都折射着欧洲人工智能产业的尴尬。


大学生支援家乡建设


去年12月，Mistral在A轮融资中斩获20亿美元估值，震惊欧洲投资圈。


这家公司2023年5月才宣告成立，初创团队只有六个人，靠着7页PPT拿下了1.13亿美元的种子轮投资。有位早期投资人将Mistral视为“欧洲的尤里卡时刻”，意思是欧洲人非常善于搞科研，但商业化水平差劲，而Mistral将改变这一切。


Mistral之所以备受瞩目，核心在于其大模型的“混合专家模式”的MoE（Mixture of Experts）架构。


MoE架构主要由两个关键部分组成：专家网络和门控机制。


（1）专家网络：传统Tranformer架构的FFN（前馈网络）层是一个完全连接的神经网络，MoE架构的FFN层则划分成稀疏性的神经网络，这些被称之为“专家”的小FFN，每个都有自己的权重和激活函数，它们并行工作、专注于处理特定类型的信息。


（2）门控机制：用来决定每个token被发送到哪个专家网络的调配器，比如下图中“More”这个token在输入概率（p）为0.65时被分配到FFN2，而“Parameters”则在输入概率（p）为0.8时被分配到了FFN1。



通俗一些说，经典的Tranformer架构在运行时，无论下达的推理指令是什么，都会把系统中所有的员工全部调动起来问个遍，颇有些劳民伤财；MoE架构则是“术业有专攻”，把不同的问题交给相应领域的专家来解决。


这意味着MoE架构在推理时，最大程度实现了性能和参数规模之间的平衡，节省了科技大厂谈之色变的算力成本。


正因如此，Mistral 8x7B模型一经问世，让Meta的LLaMA2大模型都有些黯然失色，其背后是MoE架构对Transformer的创新性改造。


近期，Mistral又发布了性能逼近GPT-4的超大杯模型Mistral Large，虽然并未开源，但上线闭源大模型，意味着Mistral正式加入AI的商业化竞争。


Mistral在领英的页面也显示，近期从事商务拓展的员工比例大幅增加，已占其整体的近40%[4]。


按照其CEO Arthur Mensch的说法，Mistral Large的训练成本仅为2000万美元左右，而OpenAI的模型则超过5000万美元。


对于一家如此罕见的科技新贵，欧洲各国政府自然是捧在手里怕摔了，在监管政策上也对Mistral大开绿灯，采用了“AI基础模型豁免，AI应用重点监管”的分层处理思路。这意味着Mistral的产品仅需承担有限的披露义务。


然而，举欧洲上下扶持的Mistral，本质上却是一家彻头彻尾的美国公司。


美国的钱，美国的人，美国的市场


与“注册地”这个法律层面证明公司国籍的事实信息相比，人才、资本、市场三大经营要素也许更能代表一家企业的内核。从这个意义上讲，Mistral的确更像一家美国公司。


Mistral的三位联合创始人人生经历非常雷同：都是土生土长的巴黎人，都有在美国公司的工作经验，也都有着与程序员身份不符的发量。


CEO Arthur Mensch在巴黎读到了博士后，与另外两位创始人彼此相识于巴黎求学生涯。博士期间，Arthur发表了深度学习领域大作《结构性预测与注意力中的可微分动态编程》。


依靠这篇论文，Arthur一毕业就加入了DeepMind巴黎团队，从事语言模型的开发。


首席科学家Guillaume Lample与首席技术官Timothee Lacroix则在毕业后远赴美国镀金，转岗至Meta位于巴黎的AI分支机构，主攻大模型项目。Meta的开源大模型LLaMA，就由Guillaume Lample领衔开发。


CEO Arthur并非人们眼中典型技术极客的样子，他是个狂热的马拉松爱好者，对硅谷大公司的官僚文化深恶痛绝。这让三个姓氏连起来就是“L.L.M（大语言模型）”缩写的青年，命运再次交织在一起。


Mistral的“含美量”不仅体现在创始团队的履历，大部分Mistral员工的上一份工作，也在美国科技公司位于欧洲的分支机构。



而在Mistral成立八个月内的两次融资中，背后的核心力量也是美国的风投基金和产业资本。


Mistral的走红虽然吸引了一众欧洲本土的Old Money捧场，包括菲亚特背后的阿涅利家族、老佛爷百货的家族办公室Motier Ventures、英国风投基金First Minute Capital。


但在1.13亿美元的种子投资里，领投方其实是美国老牌基金Lightspeed。


而在A轮融资中，另一家老牌基金a16z，与微软、英伟达和Salesforce这些美国产业资本抢尽了风头，Mistral不仅是用了微软的Azure云服务，还与亚马逊达成协议，使其成为Amazon Bedrock客户的基础模型开发商。


尽管CEO Arthur曾多次公开表示Mistral的主要目标市场是欧洲，并强调欧洲在人工智能领域的独特优势。但同样身不由己的是，Mistral目前一半的客户都来自美国市场。


Mistral的轨迹似乎重复着某种轮回。凭借AlphaGo红极一时的DeepMind诞生在英国，但在创办第四年就被谷歌收入囊中。


曾经的“英伟达杀手”——英国芯片公司Graphcore受困于财务压力；文生图模型Stable Diffusion背后的Stability AI其实是家英国公司，但似乎所有人都默认它是美国公司。


欧洲科技公司的理想似乎总是由美国最后买单。历史的前车之鉴高悬在Mistral头顶，时刻提醒着它难以摆脱的命运。


宿命般的轮回


2018年4月，杰夫·辛顿、约书亚·本吉奥，以及德国计算机科学家尤尔根等200多名学者，共同签署了一封联名公开信，尖锐地提出了一个警告：欧洲在人工智能领域正在远远落后于美国和中国。


当时，OpenAI刚刚发布基于Transformer的GPT模型，眼看着人工智能在美国加速，欧洲成立了一个旨在打造全球人工智能强国的研究机构ELLIS应对。但信中的警告还是成为了预言，猜中了生成式人工智能的全球竞争格局。


欧洲并不缺少顶尖的高校和人才，“人工智能三巨头”杰弗里·辛顿、约书亚·本吉奥和杨立昆都是如假包换的欧洲人。欧洲人工智能遇到的的真正问题，是软件和互联网这门“前置产业”的缺位。


2012年，在斯坦福教书的吴恩达教授以顾问的身份进入谷歌，主持The Cat Neurons项目（即“谷歌猫”）的研究。这个项目动用了遍布谷歌各个数据中心的16000个CPU来训练（内部以过于复杂和成本高为由拒绝使用GPU），这是当时科技公司能拥有的最大规模的算力。


谷歌之所以兴建大规模的数据中心，是因为大量的互联网公司都是谷歌云服务的客户。如今大模型的“万模之母”Transformer架构，同样来自谷歌。


就像不能脱离电商谈直播带货一样，英伟达在AI时代大杀四方，是因为一大批游戏玩家给黄总报销过研发成本；欧洲汽车工业的底子，也是因为斯柯达在1895年就开始造大炮了。


人工智能、互联网和软件，都属于“计算机科学”这门大产业的子集。美国人工智能的繁荣，是因为微软、谷歌和亚马逊在互联网时代为人工智能储备了大量的“人才预备役”。


高等教育可以培养人才，但吸引人才靠的是产业的繁荣。丰田的电动车工程师跳槽去比亚迪，总不会是因为能在深圳交社保吧。


与美国互联网的Magnificent 7、中国的BAT相比，欧洲的互联网产业几乎是一片盐碱地。


全球市值最高的50家互联网公司中，中美两国占据了39家，欧洲公司只挤进了一家Spotify。而欧洲最大的互联网独角兽，居然是估值180亿美元的Onlyfans[5]。


互联网产业的荒芜，造成了人工智能“人才蓄水池”的缺失。


“人工智能三巨头”中，辛顿和本吉奥选择移民加拿大，前者把公司卖给了谷歌，后者进入蒙特利尔大学任教。杨立昆则在纽约大学教书，后来跳槽到了Meta。


AGI喷涌的2023年，美国风险投资支出的主力是以Magnificent 7为代表的科技公司，其规模是美国其他投资机构的两倍、更是欧洲的近六倍[6]。欧洲并不缺钱，但从Mistral的融资就能看出，Old Money们更愿意扮演锦上添花的角色。



对前沿技术的投资，本质上是上一个时代的成功者，面对下一个时代来临时的避险行为。只是爱马仕和LV不需要担心这个问题。


尾声


人工智能产业的中美竞争一直是舆论场热度最高的话题，中国公司则常以追赶者的身份亮相。但在怒其不争之余，我们常常忽略，成为追赶者也是有门槛的。


繁荣的互联网和消费电子产业带动了芯片设计、数据中心、云计算等一系列细分门类的建立，它们都是发展人工智能重要的基础设施。同时，它为相关人才提供了一个重要的培养与输送的体系。



ChatGPT横空出世时，“为什么又是美国”的声音此起彼伏。但如果把时间拉长，会发现从晶体管、集成电路，到Unix、x86架构，再到如今的机器学习，美国学界和产业界几乎都是领跑者的角色。


关于美国“产业空心化”的讨论不绝于耳，但以软件为核心的计算机科学这门产业，不仅从未“外流”到其他经济体，反而优势越来越大。


追赶与模仿并不可鄙，产业的进步从来没有拔地而起的故事。反倒是不同行业间隐藏的递进与链接，决定着一个经济体面对技术浪潮时的姿态与命运。


近期，Mistral宣布与OpenAI的主要投资方微软达成重要合作，这一消息火速引起了欧盟相关部门的注意，该部门称合作可能涉及潜在风险，需要就此进行深入调查[7]。与此同时，欧盟也在针对微软与OpenAI之间的投资进行并购合规方面的审查。


人工智能的全球分工，好像走向了互联网与消费电子时代发生过的故事：美国创新，中国模仿，欧洲罚款，印度抓人。


参考资料

[1] Microsoft shifts AI focus off Sam Altman，AXIOS

[2] Top 10 artificial intelligence events in 2023，AI Magazine

[3] Europe should worry less and learn to love AI，Financial Times

[4] LinkedIn

[5] Companiesmarketcap

[6] 2024年欧洲风险与增长潜望，Lazard

[7] Microsoft’s tie-up with French startup Mistral AI is getting antitrust review from EU，Fortune

[8] 深度学习革命，凯德·梅茨

[9] 不是OpenAI也不是Google，这家估值20亿美元的小公司成了AI社区的最爱，硅星人

[10] 大模型前瞻研究：解码MoE架构，Alpha Engineer

[11] ‘It’s just a matter of time’: why AI could help Europe create its own Apple or Google， The Guardian

[12] Artificial intelligence: Europe needs to start dreaming again，Niccolò Bianchini，  Lorenzo Ancona

[13] Europe Regulates Its Way to Last Place，WSJ

[14] 2012，改变人类命运的180天，远川研究所

[15] 2023人工智能行业现状报告，腾讯研究院


本文来自微信公众号：远川科技评论 （ID：kechuangych），作者：沈丹阳，编辑：李墨天，视觉设计：疏睿，研究支持：陈彬、王一川