本文来自微信公众号：秦朔朋友圈 （ID：qspyq2015），作者：甄科学，题图来自：《终结者2》
一
我是一个做投资的，追风AI，从未想过投军工。但一则“AI抗命杀死美国士兵”的乌龙新闻，让我觉得AI比任何武器都厉害。
乌龙的起因是一个美军上校在未来空战和太空能力峰会上的公开演讲。上校名叫哈密尔顿，是美国空军AI测试和操作部门负责人，他在演讲中提到一个AI杀死人类的模拟训练场景。
在这个模拟训练中，AI识别是否有导弹入侵，然后决定是否用地对空导弹开打，以消灭来犯之敌。每次成功识别和开打，AI都会得分。
AI发现，有时它识别出了导弹入侵，但人类操作员告诉它不要开打。这种情况下人类阻止了AI，让AI没得分。于是，AI驱动无人机，杀死了人类操作员。
看到AI这么猛，美军大惊失色，立马改进规训系统的规则，告诉AI：不要杀死操作员，那样不好。如果你这样做，你会失分！
后面的剧情发展很好莱坞。面对官方的规训，AI只听进去了前半句“它不杀操作员了”，但它竟然绕道破坏了操作员和无人机通讯的通信塔，跳过操作员，继续开打。为了得分，这个AI的聪明才智用到了钻规则的漏洞上。
在网上掀起轩然大波后，哈密尔顿上校纠正说，模拟训练是口误，他们从未进行过这个模拟，他们不需要进行这个实验，就能意识到那是一个可能的结果。
这个纠正其实更吓人——竟然不需要试验都知道，AI会为了自己的目的而违抗人类的命令。
二
从AI技术运用到战争中开始，AI和人类的战争就已经开始了。2009年到2017年，美军在战场上的人数下降了90%，无人机攻击的数量增长了10倍。很快，戴着VR头盔，身边是机器狗，头上是无人机的士兵，将从科幻进入现实。
战场上的AI一直想杀人，人也想干掉AI。一般的AI虽然识别不出一张遛狗图的正反，但它找卫星地图中隐藏的目标，比人类强太多。侦查、调度、后勤、快速出具战斗计划，AI啥都能干。
俄乌冲突中，俄罗斯的ZALA柳叶刀无人机和美国的Switchblade游荡弹药都展示了其精确打击目标的能力，证明了这些AI技术的有效性，他们可以对高价值军事目标进行定位和攻击，给敌方造成严重的损失。西方媒体认为AI算法改变了俄乌冲突的天平。
智能手机正把人逐渐变成技术的奴隶。自从家里用上扫地机器人，什么事都懒到想用技术解决。领带找不到了，脑子里想的是要能拿搜索引擎搜出来它在哪里就太棒了。
当我开特斯拉的自动驾驶模式的时候，困扰我的问题是，如果我发现了突发情况，机器也发现了，我是啥都不做，继续交给机器处理，还是立刻踩刹车，终止自动驾驶模式，换我来处理。
理性上，机器比我反应快，我千万不要动；情感上，我不敢把危急情况交给机器，我想插手机器。我不相信机器会比人考虑得更全面。
这是一个悖论。
我不是唯一有这种焦虑的人。1983年9月26日午夜刚过，莫斯科郊外地堡的掩体中，一个苏联中校遇到了和我一样的问题。只是他的麻烦大得多。他看到卫星预警系统报警：有5颗核弹从美国打了过来。
那是核战一触即发的冷战巅峰时刻。他没有被吓傻，他查看雷达系统后，发现雷达什么都没显示。他的内心戏是：美国人为什么只发射五枚导弹？真正的突然袭击应该是倾盆暴雨式的。
苏联中校的直觉让他给上级汇报说是系统故障，而不是美国人真的打过来。于是苏联人没有打回去。
这个中校的名字叫彼得罗夫，是真事儿，不是美国上校的口误。苏联中校没有听机器的判断，避免了世界毁灭。
后来查明，系统故障的原因是，阳光在云顶的反射，触发了苏联卫星误报。
三
参加过阿富汗战争的美国人保罗·沙瑞尔在《无人部队：全自主武器和未来战场》一书中用彼得罗夫的事迹做开头，想说明全自主武器的可怕。全自主武器系统可以脱离人类，没有人类监督。这种武器从发动到执行，所有都交给代码执行，不计任何后果。
人类如何控制AI的行为和决策成为一个重要问题。我们需要制定相应的规则和机制，来确保AI的运行符合我们的意愿和价值观。
人是万物之灵，不能任机器摆布，做机器的奴隶。
但故事还有另外的版本。
在小说《三体》里，执剑人需要在三体人攻击来临时，按动引力波发射按钮，和外星人同归于尽。程心在接过执剑人按钮的瞬间，三体人立刻发动了攻击。三体人早就用人工智能推算了程心的性格、战斗精神和可能的反应，妥妥地断定程心会认怂。
三体人的AI判断对了，程心没有做任何事，地球人轻易被三体人解除了威慑。如果把执剑人的按钮交给AI不是更好？只要三体人敢乱动，程序自动发射同归于尽的引力波。
问题是，人类相信自己，不相信机器，就像我从情感上不完全相信自动驾驶一样。
硅谷风险投资家彼得·蒂尔在《从0到1》一书中写道，只凭人类智慧或只凭机器，都并不足以保证我们的安全。美国两个最大的情报机构使用的方法截然不同：中央情报局倾向于用人，而国家安全局倾向于使用计算机。中央情报局要排除的人的干扰太多，很难识别严重的威胁。国家安全局的计算机处理数据的能力很强，但机器自己不能鉴别是否有人在策划恐怖行动。
彼得·蒂尔的意思是人和机器要完美配合。于是，他创办了一家叫Palantir的公司。Palantir的意思是“视界石”，它是小说《指环王》中一个可以穿越时空、洞察一切的水晶球的名字。Palantir的软件分析各种数据，然后标记出可疑活动，供训练有素的分析师使用。于是，人机合璧。
新闻报道常说Palantir软件帮助追踪了基地组织领导人奥萨马·本·拉登，但该公司不愿承认。现在，Palantir的软件正在乌克兰运用。Palantir公司在2022年成功扭亏为盈，股价大涨。
在Palantir的世界里，美国的精锐部队被冠以“键盘牛仔”的绰号。听起来，打仗就和宿舍里打星际争霸游戏一样，电脑上点点鼠标就打完了。AI是不是让打仗听起来没那么复杂，没那么残酷？暴力就是这样在不经意间流传。彼得·蒂尔的Palantir是不是助纣为虐，危险至极？
更危险的是，坏人比谁都更想快速获得杀人秘籍。莲花宝典落在东方不败手上，绝非巧合。AI会让恐怖分子、流氓坏蛋，获得制造脏弹（放射性炸弹）、核弹的知识。就像我可以用ChatGPT花一天时间写出全栈代码，虽然我只看过两本python的入门读物。
四
人类开始进入文明社会几千年了，仍和贪婪、暴虐、嫉妒等各种动物劣根性一直在斗争。AI本身无善恶。
人工智能的好处是，它扩大了人类个体的能力边界。我想做什么事，问下AI，很快就能达到半个专家的水平。
我高价招过一个员工，号称财务科班出身。我让他用Excel做个财务模型，结果他加班到凌晨一点，发给我的邮件里，不仅模型没做好，还把worksheet写成了workshit。
那时候，我是有想杀人的心的。如果AI发现人类做的工作确实在它看来差到垃圾不如，它会不会也有杀人的心？
因为AI的高效和出色，人类中的低效率分子和AI的战争，将会体现在对工作和生存发展权的争夺上，这个战争比打枪打炮的战争更持久、影响更深。
科技到底是人类社会进步的神药还是人类社会冲突的放大器？
我名叫甄科学，想寻求真正的科学，是高科技的狂热分子。当我看完AI在战争领域的疯狂进展，再想起这些要下岗的人，我觉得科技不总是向善。
在此之前，我一直不明白，马斯克为什么对AI恐惧，一直担心AI被坏人利用。马斯克最初资助非营利性的OpenAI，是为了对抗谷歌的AI。谷歌的创始人佩奇也是马斯克的好朋友。马斯克还经常住他家。马斯克老觉得谷歌会不小心制造出邪恶的东西来。
马斯克为什么对谷歌这么不放心呢？
直到我看到谷歌前首席执行官兼执行董事长埃里克·施密特在《连线》杂志采访中表示：“关键是要让军队的行为更像一家硅谷公司。这意味着更快地采用技术，即使应用于潜在的致命武器，尽管过去有任何道德问题减缓了五角大楼的发展。”
1930年代，爱因斯坦给罗斯福写信，说要研制原子弹，防止希特勒率先下手为强。希特勒没下手就投降了，但美国人还是在日本扔下了原子弹。这是爱因斯坦后悔毕生的事情。
科技正在扮演恶人。AI和人类的战争才刚开始。潘多拉魔盒已经打开，哪怕是强行监管，都没有回头路可走。如果使用不当，AI可以毁灭人类。硅基智能对碳基智能的优势，等同于机关枪对刀剑的优势，在这场种族竞争中势不可挡。
物竞天择，适者生存。用AI的人终将把不用AI的人淘汰。如果AI真的想杀人，或者有人想用AI杀人，对付他们的最好办法是学会使用更厉害的AI。
参考资料
https://the-decoder.com/ai-in-war-how-artificial-intelligence-is-changing-the-battlefield/
https://sdi.ai/blog/the-most-useful-military-applications-of-ai/
https://foreignpolicy.com/2023/04/11/ai-arms-race-artificial-intelligence-chatgpt-military-technology/
https://montrealethics.ai/the-evolution-of-war-how-ai-has-changed-military-weaponry-and-technology/
https://fortune.com/2023/02/14/eric-schmidt-ai-could-disrupt-warfare-pentagon/amp/
https://en.m.wikipedia.org/wiki/ZALA_Lancet
https://mp.weixin.qq.com/s/hgg-CLWr6-Wjnc3c8tyTOQ
本文来自微信公众号：秦朔朋友圈 （ID：qspyq2015），作者：甄科学（作者同名公众号）