“arXiv 是个毒瘤，它以貌似实物出版的形式促进垃圾‘科学’的传播，并一直在宣扬盲目跟风 + 任何超过 6 个月的内容都过时了的计算机科学文化。”


华盛顿大学教授、ACL 2023 大会副主席 Emily M. Bender 前些天的一番言论突然引起了轩然大波。



说 arXiv 坏了研究风气，那我们每天都在刷的是什么？哈佛大学教授 Boaz Barak 表示，arXiv 在推动科学进步和扩大科学参与方面所做的工作比所有匿名干预措施都要多得多，任何阻碍 arXiv 的政策不仅是愚蠢的，而且还会对科学进步和包容性产生反作用。


他的观点得到了深度学习巨头 Yann LeCun 的支持。



要说 Emily Bender 的观点，其实并不是完全没有道理。毕竟 arXiv 是一个几乎不审稿的平台：如果向学术会议或者期刊投稿，在审稿期间作者是不具名的，而在 arXiv 上人们总是不由得去关注大牌研究机构和学者。但自从昨天发生的那件事之后，讨论的风向已经彻底一边倒了。


要说清楚来龙去脉，先得看看昨天 AI 社区里闹得沸沸扬扬的 ACL 论文被拒事件。


纽约大学博士后 Naomi Saphra（师从 Kyunghyun Cho）9 月 4 号在 X 上发了一贴，说自己刚刚被国际自然语言处理领域顶会 ACL 拒稿了。这是她第一次带学生提交大会论文，她之前还告诉第一作者 NLP 的顶会相比机器学习会议更加平易近人。在审稿期间，一作花费了大量精力进行 rebuttal，实验结果支持论文的想法。


但重点在于，最终拒稿的原因是她在大会投稿的匿名政策 deadline 后才把论文提交到了 arXiv 上。


“ACL 这个政策伤害了刚入门的研究人员，让这个大会背离了 NLP 领域。”Naomi Saphra 表示。



有关 AI 顶会在审稿时禁止宣传论文的争议由来已久，因为如今在 AI 圈内很多人会有天天盯着预印版论文平台 arXiv 的习惯，毕竟这个平台更新的频率以天计。相比之下，一年一开的顶会研究公布的速度就慢得多了。


而 AI 领域，正是个“一天不看新闻就会落后”的地方。


Naomi Saphra 的抱怨发出后，人们开始声讨当前 AI 顶会让人讨厌的政策。


著名机器学习研究者、威斯康星大学麦迪逊分校助理教授 Sebastian Raschka 研究了一番表示，该论文并不是因为错过大会论文提交 deadline 几分钟才被拒的，而是因为它晚了几分钟才提交给可选的第三方预印版论文平台，这是什么道理？


“以前他们不允许人们在网上谈论自己的 arXiv 版论文，现在他们还能限制人什么时候可以上传到 arXiv 了？”



Sebastian Raschka 找到的审稿政策具体来说是这样：在 ACL 2023 上，以直接方式提交的论文存在一个匿名期，不准在预印版论文平台上署名公开。指定时间在 arXiv 上是指提交时间，而不是 arXiv 上的公开时间。



滑铁卢大学教授 Gautam Kamath 也表示，我认为这个政策很愚蠢，而实际执行起来却比想象得还要糟糕。


你看，他现在已经等价于给你规定了一个上传 arXiv 的 deadline， Naomi Saphra 等人的论文正是因为错过了这个时间而被拒稿了。


Boaz Barak 讽刺道，难不成论文作者要在审稿结果出来之前去修道院呆一呆？


现在是大模型时代，NLP 领域的竞争已经非常激烈，很多年轻研究者的职业生涯需要仰赖自己的作品出现在曝光量较大的空间，期待能被更多人引用。现在 AI 顶会的做法看起来与之背道而驰。


按说 ACL 等会议的初衷，显然是为了促进学术交流，推动先进研究的发展。然而折磨人的政策甚至让大家开始对大会本身的权威性产生了质疑。


谷歌 VP Fernando Pereira 说道：ACL 早就不学术了，现在是走官僚机构的路线。


爱丁堡大学博士生符尧就表示，我今年连开了 ACL 和 ICML，两者对比鲜明，ACL 2023 的内容基本都过时了至少一年以上，而 ICML 的内容充满了对未来的展望。年轻一代的 NLP 研究者们如果想要有未来，就把文章投给 NeurIPS/ICLR/ICML。


有人指出，导致 Saphra 这次论文被拒的条款可以追溯到 2017 年。相对于飞速发展的 AI 技术，AI 大会的规则发展似乎显得比较缓慢。


有意思的是，ACL 其实改得并不慢。自 2022 年起，ACL 启动了一种“滚动审稿”的机制 ACL Rolling Review（ARR），类似于期刊的审稿流程。最近 ACL 更改规定，2024 年的大会完全取消了直接投稿，大家只能选 ARR 投稿了。



要是在以往，直接提交到 ACL 大会的论文可以采用常规审稿流程：一篇论文被 3 位或以上的审稿人审稿，作者可以提交作者回复以回应审稿意见，论文录用之后作者可以进行终稿的编辑修改。


而在 ARR 机制下，投稿的论文会被高级领域主席（SAC）进行处理，作者可以提供作者回复，但不能修改论文。论文需要获得所有的审稿意见和综合审稿意见（meta-review），并在截止日期之前提交到 ACL 上，内容不能修改，但可以附带作者回复的内容。在提交到 ACL 之后，不能再次修改并提交到 ARR（除非大会给出录用结果）。


看起来，未来的 ACL 会继续向多轮审核的方向发展，这是在向学术期刊靠拢。


不过滚动审核终究是无法赶上 arXiv 的速度，如何才能做好研究先进、审核严谨与公平的平衡，我们现在还没有个答案。


参考内容：https://2023.aclweb.org/calls/main_conference/


本文来自微信公众号：机器之心 （ID：almosthuman2014），编辑：泽南