本文来自微信公众号：人神共奋（ID：tongyipaocha），作者：人神共奋，头图来自：《楚门的世界》


一


前段时间，学术界爆出一个大丑闻，《发现》杂志经过调查，认定一篇由著名神经科学家Karen Ashe为通讯作者、于2006年发表在Nature上的文章，使用了多张经过篡改的图像。而这篇文章曾被引超过2300次，是阿尔茨海默症“淀粉样蛋白”假说领域的奠基性工作，全球各大公司一半的研发费用都放在这个方向上。


后果有多严重，还有争议，这不是本文要讨论的重点。我想说的是，在结论相对明确的自然科学界，又这么重要的奠基性文章都有问题，可想而知，在社会科学领域，有更多的我们深信不疑的理论，问题可能更严重。


特别是在心理学、经济学之类可以用统计数据和数学公式伪装成自然科学的领域，那些理论、假说，常常用于营销、服务等有经济利益的活动，更是值得我们警惕。


二


行为经济学的经典著作《思考，快与慢》一书中，曾经用“大数效应”为理论依据，批评很多研究成果样本数不足，但立刻就有人指出，本书中大量引用的社会心理学的“启发效应”，其实验同样存在样本数不足的问题。


“启发效应”可能是营销学家和大众媒体最喜欢引用的心理学研究，比如纽约大学心理学家约翰·巴赫的“热咖啡效应”，实验结果宣称，一个手里捧着一杯热咖啡的人，会增加别人对他的信任度。


果然，“启发效应”的大部分实验，最后都无法重复结果，让全世界的销售员浪费了大量咖啡。


甚至有很多大家耳熟能详的理论，根本就不是实验的结果，比如“啤酒与尿布”理论，说超市喜欢把啤酒放在尿布边上，方便下班回家的年轻爸爸在买尿布时，给自己带上一罐啤酒，超市因此可以增加啤酒的销量。


这个理论如此之有名，很多超市都做过这种尝试，但我们几乎看不到哪一个超市是这么陈列商品的，只能说明效果得不到销售数据的验证。


事实上，最早提出这个理论的人，根本就是营销专家，在某个课程中提到了自己曾经看到某超市这么做，这个效应听上去头头是道，却完全经不起任何实验的检验。


样本数效力不够是社会学实验的通病，这是因为，自然科学的要素之间的独立性比较强，只要符合统计要求的样本数就行了；但社会领域大部分事情之间，啤酒与尿布之间，咖啡与客户成交之间，必然存在忽高忽低的联系，小样本数下，任何结论都有可能得出。


一个可靠的社会学理论，需要非常大的样本数才有足够效力。


比如心理学上最著名的“旁观者效应”，即遇到紧急情况救助时，身边的人越多，得到救助的概率反而更小。为了证明这个效应，达利和拉丹这两位心理学家，前后十几年时间里，设计了各种各样的实验，单次试验的样本数也非常大，其中的电梯实验中，助手搭乘电梯的过程中故意丢下一些硬币或是铅笔，计算被对方捡起来的概率，研究团队安排了145名助手搭乘了1497次电梯，前后共有4813个人与他们共乘一部电梯。最后才得到结论：


当他们只与一个人搭乘电梯时，别人帮他捡起掉下的硬币与铅笔的概率是40%，而当他与多个人一起搭乘电梯的时候，被帮助的概率只有20%。


即使这样大的样本数，后来仍然有多个“旁观者效应”实验宣称得到相反的结论，所以“旁观者效应”的有效性也没有那么强。


说到这儿，还有一个问题，包括开头的“淀粉样蛋白”，这些都是非常著名的实验，事关全球几千万患者的健康，为什么这么低劣的造假手段，在长达16年的时间，没有被揭露呢？


这就是学术论文的“错误链式反应”。


三


有一天，某个学者（通常是社会科学领域）忽然产生了一个见识独到、似乎很有道理的想法。


于是他设计了一个实验去验证，但因为经费有限，或者说，社会科学领域太容易出想法了，平摊下来实验经费就有限了，他不得不缩减整个实验的时间，并虚报实验对象的样本数。


非常幸运的是，他得到了惊人的显著性统计效果，论文发表后，成为当年该领域的重大成果——事实上，这个想法早有人尝试，只是因为实验效果不明显而被搁置。


更多的研究者开始跟进研究，但不是重复这个实验，为了让自己的研究更有创新性，他们会改进这个实验的某些条件，以得到进一步的研究成果。


非常不幸的是，跟进的研究者大部分无法重复这个结果，他们怎么办呢？


如果实验结果完全无效，这些研究者会将之束之高阁，赶快进行下一项研究，而不是发表文章质疑这个结果；


如果实验结果有效但不明显，很多人会怀疑是自己设计或操作上的问题，要么修改结果，要么剔除一部分他认为不正确的结果，以增加显著性。


于是，越来越多的新实验，“证实”了这个假说，它也从学术领域进入大众视野。


直到有一天，某个认死理的研究者，为了搞清楚自己实验失败的原因，完全重复了数遍最初的实验……


四


总结这个“链式反应”，导致错误不能被及时纠正的三个原因出自人性的弱点：


1. 学者发论文压力大，实验必须要成功；


2. 习惯于修辞数据，以让结果看起来更有说服力；


3. 质疑权威的风险大，延续权威结论的收益更稳定。


所以，不能因为一个理论听上去很有道理，有一堆数据和专家背书，就认为它不可能出错。


曾经有读者批评我写文章，不给列出引用的参考文献。


我曾经一度也这么做过，可这让它看起来更像是一篇学术文章，暗示结论的科学性，但我本人并不确定这一点，我没有能力去重复那些实验的结果，它们只是看起来有道理，所以我希望它们以某一方面的观点而不是证据的形式呈现。


自媒体的文章不具有学术性，无论它的形式多么像一篇论文，它们的目的只是为了完成一篇文章，而不是一项研究。虽然有追求的作者总是尽量选择可靠的观点，但文章就是文章，追求的是阅读率、传播效果、而不是研究结果的可靠性。


所以，谨慎地对待你看到的任何权威文章，特别是那些看起来对你很有利的，引起你极度舒适的，并让你产生共鸣的观点。


本文来自微信公众号：人神共奋（ID：tongyipaocha），作者：人神共奋