2005年8月，一篇题目是“为什么大多已发表的科学研究结果都是错的”的文章发表了。这个“地图炮”一落地，就引发了关于研究可重复性的广泛讨论。而近日，一个验证癌症生物学领域顶级研究的项目公布了最终结果，也为我们敲响了警钟……

编译 | 二七

审校 | clefable

 

或许你还记得，2015年发表于《科学》的一项研究引发了心理学领域的“地震”。在这项研究中，来自世界各地不同机构的270位研究人员共同重复了100项心理学实验，研究结果敲响了警钟：仅有36%的重复实验与原论文得到了一致的结论。

 

事实上，心理学并不是唯一一个遭遇“可重复性危机”冲击的领域。在大约10年前，美国开放科学中心（Center for Open Science）和Science Exchange平台共同启动了一系列可重复性项目（Reproducibility Project），2015年的这篇论文就是这个项目的成果之一。最近，可重复性项目：癌症生物学（Reproducibility Project：Cancer Biology，RPCB），终于在eLife发表了完整的重复实验成果。

 



2015年《科学》发表了可重复性项目：心理学的研究结果（图片来源：论文）

 

起初，项目团队计划复制53篇具有高影响力的论文中的193项实验，然而由于实验方案描述模糊、论文作者未能提供有效帮助等原因，团队最终仅仅重复了23篇论文中的50项实验。而在这23篇论文中，也仅有47%能得到完全一致的结论，如果考虑到效应量（effect size，度量效应大小的指标），则只有25%的重复实验的效应量在原结果95%的置信区间内。

 

RPCB项目启动于2013年，总耗资200万美元。项目团队的目标非常明确：重复那些发表在顶级期刊上、具有高影响力的临床前癌症研究——也就是把这些研究在尽可能相同的条件下，以尽可能相似的方式再做一遍。事实上，在此之前，就已经有一些研究在质疑这个领域研究结果的可重复性了。例如，在2012年发表于《自然》的一篇文章中，美国生物技术公司Amgen的团队就重复了53篇“具有里程碑意义”的论文中的实验，然而却仅能确认其中6篇（11%）的结果。

 

RPCB的研究者从2010-2012年的相关研究中，同样选出了53篇论文，其中不少发表于《自然》《科学》《细胞》等“顶级期刊”。艰难的重复实验消耗了研究团队8年的时间，才终于在“缩水超过一半”的情况下，完成了整项工作。

 



图片来源：RPCB

 

令人震惊的结果 

这次发表的两篇论文中，第一篇论文就专门分析了项目团队在复制实验过程中遇到的种种困难。论文中指出，项目涉及的所有研究中，原始论文都缺乏足够的数据和实验细节，以至于全都需要询问原作者。而只有26%的原作者提供的信息“非常有帮助”，其中一些愿意直接分享实验材料，甚至可能在几个月的时间里积极跟进项目团队的工作。而32%的作者“完全没有提供帮助”——基本忽视了项目团队询问的所有问题。

 

原作者的不配合，以及实验过程中遇到的种种困难，使得重复实验既耗时、又费钱。平均来说，重复每项研究中的所有实验需要197个星期，花费则达到了53000美元，大约是预期费用的2倍——这也导致项目没能实现最初设定的目标。

 

在第二篇论文中，研究者公布了重复实验的结果数据。研究者根据结论（是或否）和统计显著性角度设置了5项标准，而能够在所有标准上与原实验一致的只有47%。而且平均而言，重复实验得到的效应量，比原实验低85%。但在论文中，研究者也说明“成功的重复出实验并不能证实原始发现一定可靠，同样，重复失败也不能否认原始发现，但（复制失败）确实表明，原始发现需要进一步的检查和研究。”

 

反对的声音 

然而，的确并不是每个人都认可这项研究的成果——尤其是那些研究未能被成功重复的研究者。

 

一些研究者认为，仅仅一次重复实验失败并不可信。比如，美国Sanford Burnham Prebys医学研究所的癌症生物学家艾尔基·罗斯拉赫蒂（Erkki Ruoslahti）就表示：“我不认为像这样做一次实验能有多大价值。我很难相信这些论文中，有一半都是不真实的。”2017年，RPCB团队发表的初步结果就指出，罗斯拉赫蒂的研究团队的一项实验未能重复出一致的结果。但罗斯拉赫蒂反驳称，其他实验室已经进行过多次重复实验，且其中至少有20次得到了一致的结果。而基于该项研究开发出的一款候选药物，也已经进入了二期实验。

 

美国的癌症生物学家迪安·当（Dean Tang）也持有同样的看法，他认为想要否认这些研究的成果，至少需要3次失败的重复实验。2019年，RPCB报告说当所在实验室的一些工作成果无法成功复制，但是当认为，RPCB的研究者使用了较少且不同的细胞系，而且实验过程也没有仔细检查。

 

但就PRCB项目设立的目的来说，他们并不是为了驳倒或是否认某个特定的研究。恰恰与之相反，项目团队的目的是了解这个领域内的可重复性危机严重到了何等程度，背后的原因是什么，从而系统性地解决这个问题。参与了重复实验的布赖恩·诺塞克（Brian Nosek，他也是开放科学中心的执行董事）说：“重复实验的结果其实并不是我们最应当关注的焦点。如果我们能进一步研究为何会得到相互矛盾的结果，或许可以得到更深一步的科学见解。”

 



布赖恩·诺塞克（图片来源：Brian Nosek）

 

失败并不重要 

在论文最后，项目团队也给出了他们的建议：体外实验和动物实验可以考虑采取更大的样本量、更严谨的统计标准和预先注册研究方案，同时在论文发表过程中，也应当对数据提供作出要求。

 

但研究者也提出，同样需要考虑的，是利益相关者对待重复实验的态度。事实上，对于已经发表了知名论文的人来说，他们并没有充足的理由积极参与重复实验——毕竟重复成功也并不会带来太多好处，但重复失败却会导致极大的损失。因此对于一些研究者看来，重复实验甚至可能是潜在的威胁，而不是一种进步的机会。诺塞克表示，这种科研文化十分不利于学科走上自我修正道路，“我们真的要考虑改变整个领域的研究文化”。

 



2005年，发表于PLOS Medicine的一篇论文标题为“为什么大多数已发表的研究都是错的”，引发了很大讨论（图片来源：PLOS Medicine）

 

但好消息是，研究者对待重复实验的态度似乎也开始发生变化了。2012年那项可重复性研究的作者格伦·贝格利（Glenn Begley）就发现：“当我第一次展示我（关于可重复性的）的研究结果时，人们大多充满敌意。但现在，我们开始正视问题，许多研究者会询问需要采取什么措施来改变这种情况。”

 

或许正如美国天文学家菲尔·普莱特（Phil Plait）所言：“科学的一部分过程，就是承认我们有时会犯错。这可能会非常、非常困难……但它的另一面是最美好的，那就是更进一步的认知和理解。” 可重复性危机尽管会带来“地震”，但并不会推翻整个领域，恰恰相反，这或许是一个研究领域提升自我质疑的能力，变得更加成熟的必经之路。

 

参考链接：

https://www.nature.com/articles/d41586-021-03691-0#ref-CR1

https://www.nature.com/articles/483531a

https://elifesciences.org/articles/71601

https://elifesciences.org/articles/67995