世界末日机器不应该存在。这本来只是一个设想性的实验：想象有这样一个装置，其唯一目的就是毁灭所有人，这台机器深埋在地下，但与一台电脑相连，而这台电脑通过传感器跟美国各地的城镇相连。传感器的设计目的是用于捕捉世界末日的气息，但它的作用不是为了阻止世界末日，而是完成世界末日。
打个比方：如果辐射水平显示美国有三座城市同时发生了核爆炸，传感器就会通知末日机器。末日机器就会回应，引爆足以毁灭地球上所有生命的数枚核弹头程序。到那时，就没有回头路了。
一阵可怕的闪光，一声巨响，接着是持续不断的轰隆声。我们有一个词来形容末日机器释放的破坏规模：大死亡（注，原文megadeath，泛指数以百万计，极大规模的死亡）。
没有人期待这种大规模死亡。但是，死亡并不是末日机器唯一的恐怖之处。真正的恐怖在于它的自主性，具体来说就是，它自有一套编程程序，可以自动检测周边的环境数据，然后在不需要人类干预的情况下自主采取行动。
军事战略家赫尔曼·卡恩在他1960年出版的《论热核战争》一书中写道，“人类不可能干预、控制和做出最终决定。”
这本书提出了末日机器的假设，这种机器的理念是在核战争爆发后彻底摧毁人类，简直难以想象。
卡恩思想实验的结论是，自动灭绝地球上所有的生命是不道德的。即使这台机器有着最精密的计算，只有在人类确实遭受灭顶之灾没有生还可能的时候才会启动，也不足以证明末日机器存在的必要。
卡恩写道，“即使我们放弃计算机，让末日机器在人为控制之下，它仍然不够可控。人类不应该赋予机器那么强大的力量，当然人类也不应该有这种力量。”
近年来，随着Facebook的错误不断加剧，其声誉一落千丈，很明显，疏忽只是问题的一部分，没有人，哪怕是扎克伯格本人，也无法控制他所创造的产品。自此，我开始意识到Facebook并不是一家媒体公司。
这是一台末日机器。
苏联在冷战期间确实制造了一款末日机器。他们给它起了个代号叫“死亡之手”。如今，我们奇迹般地找到了在核战威胁下和平共处的办法，却要学习面对社交网络中的生存。
最近人们经常抱怨Facebook，好像它出了什么问题。有一种观点认为，社交网络以前还是不错的，或者说它至少曾经有机会做得很好，只要我们设置一些约束：适当的控制和事实核查，再加上一定的监管，或者联邦反垄断诉讼也是一个不错的办法。
但这样的观点未免过于乐观和短视。当今的社交网络，Facebook是其中的领头羊，我们现在诟病它的地方，恰恰正是它建立之初的目的和基础。那些有害的因素早就根植在他们的框架里。
多年来，我一直在思考，怎样才能让社交网络以正确的方式展现它神奇的魅力，不要那么极端，没有那么有毒，并且更真实。直到最近我才意识到，自己对这个问题的思考太狭隘了。我一直幻想扎克伯格能够把Facebook定义为一家媒体公司，像其他编辑那样对自己创造的信息环境负责。
有一次我曾就此追问他，他笑了。
近年来，随着Facebook的错误不断加剧，其声誉一落千丈，很明显，疏忽只是问题的一部分，没有人，哪怕是扎克伯格本人，也无法控制他所创造的产品。自此，我开始意识到Facebook并不是一家媒体公司。
这是一台末日机器。
社交网络正在按照它当初建立的目的发挥着作用。Facebook的存在不是为了寻求真相并报道真相，不是为了改善公民健康状况，不是为了追究权贵的责任，也不是为了代表其用户的利益，尽管这些东西可能是它偶尔产生的副产品。
facebook早期的使命是“赋予人们分享的力量，让世界变得更加开放和连接。”
但是事实上它偷换了“社区”的概念，抽走了所有的道德意义。例如，QAnon的崛起就是合乎社交网络逻辑的产物之一。这是因为Facebook，连同谷歌和YouTube，非常适合以闪电般的速度向全球受众放大和传播虚假信息。
注，QAnon，匿名者Q，美国最流行的极右翼阴谋论，认为美国政府内部存在一个反对特朗普及其支持者的深层政府，有一个叫Q的人会不断的在网上揭露这个阴谋，除了希拉里这样的民主党人，包括索罗斯，比尔·盖茨还有福奇都是这个阴谋论攻击的对象
可以说，Facebook是宣传、定向骚扰、恐怖分子招募、情绪操纵，还有种族灭绝的温床，这是一种在世界历史上有重要意义的武器，它并没有躲藏在地下，而是在加州门洛帕克一个充满迪斯尼乐园风格的园区里大摇大摆（注，指facebook总部）。
Facebook及其子公司Instagram，谷歌及其子公司YouTube是社交网络界的巨头。规模稍小的twitter通过保持教条式的价值中立，在我所说的“做大做强”的道路上也取得了不小的成功。在发展的过程中，Facebook明白它要的用户群体不能只是庞大的，而必须是空前庞大。这一决定让Facebook走上了一条逃逸速度（注，航天器脱离地球引力所需要的速度，泛指极快的速度）的道路，当它到达了一个临界点，它的存在就只会给社会造成伤害。
唯一的问题是，减少被Facebook称为“对世界有害内容”的传播，也会降低人们对该网站的浏览量。据《泰晤士报》报道，在人为干预的实验中，Facebook调整了算法，让用户的新闻推送中保留一定的有害内容，以保证网站的浏览量。
“末日机器”与Facebook的不同显而易见：Facebook没有核弹那样在瞬间摧毁一座城市的能力。世界末日机器是为了应对世界末日的到来，而设置的同归于尽的毁灭性机器，而Facebook的诞生，不过是因为一名半醉的哈佛大学本科生有天晚上找不到人聊天而想到的点子。
但Facebook仍然关系着人类的未来和生死。它庞大的用户群的杀伤力跟末日机器原子弹的杀伤力一样，对人类有着同等的威胁。没有任何一台机器有权利控制人类的命运，而这正是末日机器和Facebook建立的初衷。
Facebook不惜一切代价扩大规模的商业模式所造成的恶性循环显而易见。规模和用户参与对Facebook来说很有价值，因为对广告商很有价值。从Facebook的页面设置上就可以看出这种倾向，如评论点赞按钮，鼓励用户方便频繁地参与互动和评论，这反过来刺激用户分享一些能激起强烈反应的想法。
每次你点击Facebook上的点赞评论按钮，你的行为就会记录进一套算法，用于刻画你的形象（注，此处指通过用户的行为记录用户的兴趣爱好、年龄、收入等特征，以便商家更精准地找到目标客户）。用户的超目标定位（是指在网络中基于网民的兴趣偏好向特定群体投放广告内容的能力）就是通过这样海量的数据得以实现，为广告商、政治活动、造谣者、当然还有Facebook本身的发展，创造了一个完美的环境，最终控制着你在网络平台上会看到什么,不会没有看到什么。
Facebook招募了大约15000名版主，这些人拿钱观看难以启齿的事情——谋杀、轮奸和其他在平台上出现的暴力画面。尽管Facebook一直坚称，对于用户发布的内容，它是一个价值观中立的平台，版主帮助公司维持平台的平衡和洁净。
但是多达15000名的的版主也没有足够多的时间和精力，来阻止Facebook向世界释放的垃圾洪流，因为大多数情况下，算法比人力更快更强大。在如此庞大的用户群规模上，在这种被算法扭曲的个性化信息环境下，很难进行有意义的调节，这是非常危险的。
这些危险可不是仅仅停留在理论上，而且这种危险正在被facebook巨大的规模放大，这个平台终于成为对人进行试验的一个诱人场所——Facebook在不告知用户的情况下，对用户进行了社交传递实验。
Facebook在这个试验里充当了数字殖民主义的角色，试图成为世界各地人们事实上的（也是唯一的）的互联网体验。Facebook曾吹嘘自己有能力影响选举结果；非法武装利用Facebook组织力量；政府官员利用Facebook来误导舆论，并篡改选举结果。
军方官员利用Facebook的自满情绪进行种族灭绝；Facebook无意中为伊斯兰国自动传播了洋洋得意的招募视频，其中有反犹太的信息和焚烧美国国旗的内容。
即使在美国情报机构认定Facebook为信息战和外国干预2016年大选的主要战场之后，这个公司也未能阻止其网站上极端主义、仇恨言论、虚假信息和阴谋论的传播。
新纳粹分子即使在被正式禁止后仍然通过广告的形式在Facebook上活跃着。例如，直到今年10月，Facebook才宣布将删除专门针对QAnon的群组、页面和Instagram账户，以及所有否认二战时期纳粹大屠杀的帖子。
扎克伯格此前曾为Facebook不删除有关纳粹大屠杀的虚假信息的决定辩护，他在谈到纳粹大屠杀否认者时说，我不认为他们是故意散布错误信息。他后来澄清说，他无意为否认纳粹大屠杀的人辩护。
即便如此，Facebook还是定期向用户发送电子邮件，推荐最新的QAnon群组。白人至上主义者和已经失去热度的“让美国重新强大起来的”的口号可能会涌向Gab、Parler这样的小型社交平台，但这些平台没什么规模，也没什么影响力。
在2020年总统大选后，扎克伯格授权调整Facebook的算法，这样高准确度的新闻来源如NPR（美国国家公共电台）将获得优先可见性，而极度拥护某一党派的偏执内容如布赖特巴特新闻网（美国著名极右翼媒体网站）和“占领民主党”（一家美国左翼媒体机构）会被弱化。
据《纽约时报》的报道，证明如果Facebook如果有心去做，它是可以通过调整设置来减少虚假信息的。《纽约时报》在报道中提醒人们，Facebook可以左右数十亿人在网上看到的内容。
对Facebook来说，调整算法的行为极不正常。这就像末日机器的传感器检测到环境中有害物质，却选择不让算法按正常程序引爆末日机器。这一次，因为人类的介入而减轻了伤害。
唯一的问题是，减少被Facebook称为“对世界有害内容”的传播，也会降低人们对该网站的浏览量。据《泰晤士报》报道，在人为干预的实验中，Facebook调整了算法，让用户的新闻推送中保留一定的有害内容，以保证网站的浏览量。
以算法为基础的社区环境通过用户数据操纵用户体验，这样的社区环境不以服务用户为最终目的。现实世界的暴力事件可以很容易地在Facebook和8kun上找到源头。但8kun不会操纵用户或他们所处的信息环境。这两个网站都是有害的。但Facebook实际上可能对人类更有害。
Facebook公开宣称的使命——让世界变得更加开放和联通，在我看来，往好里说是虚伪，往坏里说就是帝国主义。毕竟，今天的帝国是在网络上诞生的。Facebook是一个不分国界和民族的帝国，其用户数量几乎相当于中国和印度人口的总和，而且它主要由秘密算法控制。
希拉里·克林顿今年早些时候告诉我，与扎克伯格交谈感觉就像与一个外国专制国家的领导人谈判。希拉里说：“这是一家全球性的公司，我们才刚刚开始意识到它对整个世界的巨大影响力。”
我回想起希拉里几周前发出的警告，史蒂夫·班农（注，特朗普前顾问，被称为极右翼的军师，上文提到的美国著名右翼媒体布赖特巴特新闻网的创立人之一）主张把传染病医生安东尼·福奇和联邦调查局局长克里斯托弗·雷斩首后，扎克伯格没有在Facebook上封杀史蒂夫·班农，并且为他的这个决定辩护。
这段插曲让我思考了一个找不到答案但一直萦绕在脑海里的问题：如果Facebook不存在，能避免多少现实世界的暴力？
我就这个问题问过约书亚·格尔策，他曾在白宫担任反恐官员，现在乔治敦大学法学院任教。他告诉我，在反恐界，911事件以后，人们乐于宣扬美国在阻止恐怖分子方面做得有多好。事实并不是这样，他说：“事实上，每一天乃至每分每秒，恐怖分子都在通过Facebook进入人们的世界。”
鼓励大规模暴力方面最著名的贴图网站应该是4chan，随后是8chan，最后变成了8kun。有好多次，大规模枪击嫌疑人在杀人狂欢实施前，在这些网站上都分享了宣言，使得这些网站臭名昭著。
少数愿意无条件捍卫这些网站的人，都是从绝对的言论自由主义的立场出发的。这个论点有待商榷，但这个网站的架构也值得关注：8kun上没有算法，只有一个用户社区，他们可以发布任何想要的东西。
人们使用8kun发布令人厌恶的观点，但至少社区没有故意粉饰他们的罪恶。最大的社交平台Facebook同样宣称中立和支持言论自由，但实际上没有两个用户会看到完全相同的消息。
以算法为基础的社区环境通过用户数据操纵用户体验，这样的社区环境不以服务用户为最终目的。现实世界的暴力事件可以很容易地在Facebook和8kun上找到源头。但8kun不会操纵用户或他们所处的信息环境。这两个网站都是有害的。但Facebook实际上可能对人类更有害。
当我在另一次谈话中向格尔策提出这个问题时，他告诉我：“当你这样构思时，这真是一套可怕的选择，自由发布信息的构思一听真很糟糕，直到你看到那套据称是有节制有策划的平台所产生的算法，它可能不会有直接伤害，但它潜移默化制造的伤害更多。"
以前，美国官员至少可以研究，比如说二战期间的纳粹宣传，并完全掌握纳粹想要人们相信什么。今天，格尔策说："这是一种极其强势的信息过滤，我甚至不知道其他被算法过滤过的人看到的信息是什么。"
这一领域的另一位专家，乔治城法学院宪法宣传和保护研究所的法律主任玛丽·麦科德告诉我，她认为8kun在宣传暴力方面可能更加明目张胆，但Facebook因为其巨大的影响力 "在某些方面更糟糕”。
她说：“Facebook没有任何准入门槛，我们调查的每一种极端主义暴力，都在Facebook发了帖子。而这能接触到大量的人。它的广泛影响将人们带入这个圈子，并将极端主义正常化，使其成为主流。”
换句话说，巨大的浏览量正是Facebook的可怕之处。
2007年，在Facebook在用户激增的悬崖边缘，扎克伯格在接受《洛杉矶时报》采访时曾说过一些话，现在看来，这些话的含义要阴暗得多：“人们不在Facebook上做，现实中也会做的事情，这算不上什么强大的力量，如果一些事情他们不在Facebook上做，也就不会在现实生活中做，这个力量才够强大。”
……
原文刊于《大西洋月刊》
作者：阿德丽安·拉法兰