今年,大型语言模型改变了自动驾驶技术路线的竞争格局。它正在教会规模量产的电动汽车,像个五星司机一样开车。特斯拉正处于有利位置,开始探索自动驾驶的世界模型。明年,如果它最新的FSD(完全自动驾驶)进入中国,将激发中国企业奋力阻击,保持当前似乎想领先美国的竞争格局。


美国的L4路线,过得不太好。今年,通用汽车旗下自动驾驶公司Cruise,在无人驾驶状态下撞上了行人,拖拽数米后才停下。这家明星公司摧毁了对自动驾驶的信任,它想隐瞒自己的算法有问题。它的无人驾驶车辆拥有庞大的远程操控团队。通用汽车每个季度为这一切烧掉6亿美元。自动驾驶的怀疑者马库斯,担心这是整个行业“黑暗真相”。


谷歌Waymo尝试用保险数据,挽回人们对自动驾驶汽车的信心。它的合作方是瑞士再保险公司,掌握着1250亿英里行驶里程的人类数据;Waymo提供了约0.4亿英里的无人驾驶数据。Waymo将人身伤害索赔频率降低了95%,将财产损失索赔频率降低了76%。质疑者认为Waymo的数据仍然太小。人类司机每行驶1亿英里就会发生一起致命交通事故,自动驾驶的明星企业们需要跑得更久更远。


Waymo的方式是继续在多个城市运营自动驾驶车队。它向凤凰城、旧金山、洛杉矶和奥斯汀的公众开放。中国加速更快,自动驾驶领域的融资总额,连续第二年超越美国。年初,北京与加州——中国与美国各自对自动驾驶最热情的地方——各自披露年度路测报告,百度近五年来的累计路测里程,也实现了对Waymo在加州的超越;小马智行也在飞驰。



北京速度仍在延伸。很多大中城市都将成为北京。截至今年三季度,百度的萝卜快跑累计服务订单超过了400万单,去年同期累计140万,按这个速度,明年将超越千万订单。百度的全无人自动驾驶车队,也已驶入北京、武汉、重庆、深圳、上海五城,还将进一步扩容。



在无驾驶员的自动驾驶领域,中国看起来试图领先美国。但变局在于大型语言模型以及生成式人工智能,尤其是今年以来,它迭代了包含机器视觉在内的多模态能力。很多学术机构认为GPT-4V对自动驾驶影响深远。特斯拉与英国初创企业Wayve,各自展示了探索阶段的世界模型(World Model),它们很有可能成为自动驾驶的基础模型(Foundation Model)


这个时代更有利于特斯拉这样的规模量产玩家。特斯拉的Autopilot(自动辅助驾驶功能)系统,此前依赖基于规则的方法。车辆的摄像头识别路况,然后,特斯拉的工程师们,手动编写并更新了数十万行代码,设定了诸如“红灯停、绿灯行”等繁杂的规则。很多人不相信这种方式能真正通往真正的自动驾驶。


今年,马斯克的全自动驾驶技术新版本FSD V12,开始用数十亿帧人类驾驶的视频,来教会自己如何驾驶,就像大型语言模型通过处理数十亿的文本词汇,来训练自己生成答案一样。在某些情况下,这种基于神经网络的方法,要比传统的基于规则的更好。


这是一种端到端(end-to-end)的训练,即“视频进,动作出”,不需要人类明确编写代码或脚本,来告诉它要怎么做。它的瓶颈,很大程度上不再是代码量,而是视频输入量。神经网络在训练了至少一百万个视频后才能见效。马斯克在财报会议上,将通往自动驾驶之路的四大要素,总结为“超大型真实世界数据集、神经网络训练、车辆硬件和车辆软件。”


特斯拉是全球电动汽车销售冠军,今年称考虑将FSD授权给同行;还传出将在中国继续扩建产能,从目前的每年125万辆,提高至175万辆。特斯拉拥有万卡H100集群的庞大算力,超算Dojo也已经投入生产,相当于明年再新增30万片全球稀缺的A100芯片,来对付随之而来的海量数据。


特斯拉预估2024年内部算力储备


但Dojo架构早在几年前就定下,非常适合特斯拉当时独特的算法。如果拿它来跑大型语言模型,内存带宽恐怕不够友好。换道大模型的特斯拉,需要调整它的算力基础设施,或者突破模型底层技术的束缚。马斯克的应急方案是,赶紧抢购了万卡H100集群的庞大算力。


推理芯片同样如此。特斯拉自研的第二代FSD芯片,今年年初开始上车,单卡算力性能略有提升,但不及当前市场主流自动驾驶芯片英伟达Orin。英伟达会在2025年量产Thor,算力高达2000 TOPS,是Orin的近8倍,第二代FSD的近16倍。也许特斯拉需要在下一个AI Day给予回击。


马斯克渴望让完全体的FSD进入中国,承认“目前确实正在推进中。”特斯拉早已在上海建成用户数据中心,满足国内数据监管要求;今年,特斯拉中国车主的手册新增了FSD介绍。国内媒体爆料,特斯拉正在组建中国的FSD运营团队。


还剩下安全监管,但这道障碍也在有序撤去。11月,工信部等四部门发布了《关于开展智能网联汽车准入和上路通行试点工作的通知》,首次明确了不同情况下的交通事故责任归属,并鼓励汽车生产企业和使用主体组成联合体,在年底前完成试点的集体申报,并在此基础上遴选具备量产条件的智能网联汽车产品,在限定区域内开展上路通行试点。上海经信委“推动特斯拉自动驾驶在沪布局”或在明年成为现实。


中国汽车行业正在从电动化转向智能化,来自外来者的竞争,将加速中国量产车型拥抱大模型。工信部称,当前乘用车市场L2及以上智能驾驶渗透率已经超过了42%,预计2025年达到70%,并普及至10至20万的主流车型上。


很多车企没有错过大模型。除了自动驾驶技术企业外,大模型核心玩家的华为、以及“蔚小理”等一众造车新势力,也在尝试融入Transformer架构。毫末智行还发布了DriveGPT。但它们的规模量产与特斯拉相比,尚处于爬坡阶段。在技术的垂直整合能力方面还有距离。


比亚迪的电动汽车销量,最早将在年底实现对特斯拉的超越。它与特斯拉一样,正在垂直整合整条汽车产业链,但尚欠缺一点软实力。比亚迪也在走基于Transformer的决策规划大模型,今年大概会有6亿公里的数据,标注自动化率超过95%,并在未来保持指数级的数据储备。比亚迪内部架构也发生了调整,近期招聘了超过4000名软件工程师,“采用人海战术,保持颠覆性迭代能力”。



国内的算力也跟得上。英伟达的智能驾驶芯片,占国内前装NOA(自动辅助导航驾驶)市场超50%,并未被“高墙”所限。今年,比亚迪进一步扩大了与英伟达的合作,两家企业的共识是未来的汽车是可编程的。地平线占超30%,年底,它推出了征程6,专为大参数量Transformer设计,算力高达560 TOPS,明年正式交付。比亚迪是首批量产意向合作车企。



华为也拆分旗下智能汽车解决方案业务单元,引入长安汽车合伙。华为已经突破了高算力芯片的封锁。在“躯壳”与“灵魂”的争论中,“造车国家队”进入智能驾驶市场。


大模型将重置中国与美国这场从电动化转向智能化的竞争格局。2024年,在中国500多万公里的道路上,将上演国内智能驾驶车企守住领先身位,比拼大模型应用落地的一幕。但无论如何,安全第一。


主要参考报告

A Survey of Large Language Models for Autonomous Driving

GAIA-1: A Generative World Model for Autonomous Driving

Comparative Safety Performance of Autonomous- and Human Drivers

2022 Disengagement Report from California

北京市自动驾驶车辆道路测试报告(2022年)

关于开展智能网联汽车准入和上路通行试点工作的通知


本文来自微信公众号:未尽研究 (ID:Weijin_Research),作者:未尽研究