2024年7月24日Nature头条

标题： 所以你得到了一个空结果。有人会发布它吗？

副标题： 研究人员尝试了一系列策略，以在文献中获得更多的负面结果。《自然》杂志会问他们是否在工作。

附图1：双胞胎项目

附图2：OSF

主要内容：

 进化生物学家娜塔莉·皮拉库塔（Natalie Pilakouta）认为这是一个很容易检验的理论：生活在冰岛地热温泉中的鱼类比生活在附近较冷湖泊中的同一物种的成员更喜欢温暖的水。然而，当她结束为期两年的研究时，她的发现是不确定的——如果可以选择，两种鱼类都更喜欢相同、更凉爽的水域。她的博士后导师敦促她把研究结果放在一边，继续进行其他研究：“这是一个失败的实验，”她被告知。你一定是做错了什么。

 这句话刺痛了她，因为出版物是学术货币的重要组成部分，特别是对于一个早期职业研究人员来说，她知道她将面临一场艰苦的斗争，要为她的成果找到一个归宿。此外，她感到有一种紧迫感，要分享这些违反直觉的发现，这些发现破坏了水生生物可能因全球变暖而偏爱高温的假设。

 在英国圣安德鲁斯大学（University of St Andrews）工作的Pilakouta是幸运儿之一。在六年内向七种期刊提交研究结果后，她的研究最终于 2023 年 1 月发表。但她的经历说明了学术界经常抱怨的“文件抽屉问题”，即结果为空或阴性的发现——那些未能找到变量或组之间的关系，或与先入为主的假设相悖的发现——会积聚尘埃，有利于具有积极或重要发现的研究。例如，2022 年对法国科学家的一项调查发现，75% 的人愿意公布他们产生的无效结果，但只有 12.5% 的人能够这样做。随着时间的流逝，出版物中的这种偏见扭曲了科学记录，而对重要结果的关注可能会鼓励研究人员有选择地报告他们的数据或夸大他们发现的统计重要性。这也浪费了时间和金钱，因为研究人员可能会重复已经进行但尚未发表的研究。一些证据表明，这个问题正在变得更糟，随着时间的推移，越来越少的负面结果。

 资助者、出版商和研究人员并没有闲着。现在，许多期刊鼓励团队在进行实验之前提交实验计划和协议，以便期刊可以审查提案并承诺发布结果，无论结果如何。现在有数百种期刊提供这样的“注册报告”，采用这种方法的期刊数量自2018年以来翻了一番。

 弗吉尼亚州夏洛茨维尔开放科学中心（Center for Open Science）执行主任布莱恩·诺塞克（Brian Nosek）说，对积极结果的激光关注并不是进行科学研究的唯一途径。诺塞克和世界各地的研究人员一直在推动改写研究的进行方式，挑战成功的定义。这包括打击科学的邪恶一面——剽窃等不当行为——但也呼吁遏制一些“较软”的违规行为，如选择性报道，以期发布更多负面调查结果。随着预印本服务器的激增，出版商采用新的手稿格式，推出专门针对空结果的期刊，并征集特刊，这些变化已经开始在整个出版业中显现。

 “我们肯定可以做得更好，”诺塞克说。

——隐藏的结果

 几十年来，研究人员已经注意到文件抽屉问题。但是，直到2010年代初，它引起的更大问题才变得清晰，当时他们开始复制心理学和医学科学中几个基础实验的结果，并发现他们不能。科学家们开始研究这种“复制危机”的程度和出版偏见的问题。

 他们的研究揭示了负面结果被掩埋的频率有多高。在对超过300,000份科学会议演讲，非正式海报或科学家经常努力转化为论文的演讲的分析中，只有不到40%发表在同行评审的期刊上，并且负面或无效的发现发表的可能性远低于正面结果。

 发表偏倚的程度因学科和国家的不同而不同，但随着时间的推移，这个问题似乎已经恶化。对1990年至2007年4,600篇论文的分析发现，在此期间，发表偏见增加了22%。

 出版物中的这种偏差可能会产生现实世界的影响。例如，在评估抗抑郁药的74项已注册临床试验中，近三分之一仍未发表;这些试验显示阴性结果的可能性比显示阳性结果的可能性要大得多。仅从出版物来看，94%的试验看起来好像返回了积极的结果，而药物批准小组认为51%的试验确实如此。

 这种选择性报告造成了对药物有效性的夸大看法，而荟萃分析——对已发表文献的调查——使这种看法更加复杂，这些分析主要包含具有积极结果的研究。

 尽管法律要求在美国进行临床试验的研究人员报告其结果，无论结果如何，但仍然存在偏见;可能有数十亿美元的风险，试验参与者已经付出了时间并期望结果被公布。这些结果说明了“有多么高的山需要攀登”，诺塞克说。

 史蒂文·古德曼（Steven Goodman）说，斯坦福医学院（Stanford School of Medicine）的斯坦福大学研究严谨性和可重复性项目（Stanford Program on Research Rigor and Reproactiveability）的创始人史蒂文·古德曼（Steven Goodman）说，这增加了偏倚的可能性，因为阴性或无效的研究结果往往比那些有阳性结果的研究受到更严格的审查，特别是如果阳性结果“证实了我们认为是真实的事情”。

 印第安纳州南本德圣母大学的认知神经科学家杰西卡·佩恩（Jessica Payne）表示，如果一项研究返回的结果为阴性或无效，那么人们仍然认为科学家的研究设计一定存在一些缺陷。

 事实上，根据一项对 480 名经济学家的调查，即使样本量等特征保持不变，具有空结果的研究被认为比具有大量和重要结果的研究更不容易发表、质量较低且重要性较低——这种现象被称为零结果惩罚。古德曼说，如果有的话，一项具有大效应量的研究应该比一项没有发现结果的研究受到更多的审查。

——文化偏见

 复制危机清楚地表明了一个事实：学术界的激励结构并不总是与研究的完整性和可重复性相一致。这在为什么发表的负面研究如此之少的原因中起了很大作用，荷兰乌得勒支大学的元科学家Anne Scheel说。

 Scheel说，学术不端行为和出版偏见的关键在于同样的“出版或灭亡”文化，这种文化是由学术机构、研究资助者、学术期刊和科学家自己延续的，当研究人员在享有盛誉的场所发表研究结果时，他们会奖励他们。

 但一些批评者说，这些学术守门人有偏见，他们认为资助者和顶级期刊往往渴望新颖和引人注目的发现。期刊编辑担心，满是无效结果的页面会吸引更少的读者，澳大利亚墨尔本大学的心理学家、《心理科学》杂志的编辑Simine Vazire说。

 这在研究人员和期刊之间形成了一个紧密的反馈循环。Nosek说，为了吸引那些研究结果似乎是新的和值得注意的期刊，一些科学家可能会在看到结果后改变他们的假设，或者只发布一部分数据，或者进行统计技巧。

——积极的解决方案

 为了鼓励更多的研究人员报告无效结果，期刊和资助者正在尝试几种方案。复制危机带来的最重大变化之一是预注册的扩大（参见“注册量正在上升”），其中研究人员必须在研究开始时在公共数据库中陈述他们的假设和他们打算测量的结果（这已经是临床试验的常态）。

 Nosek说，预注册模型促使研究人员忠实于他们研究的初衷，但它没有解决可能影响他们是否向期刊提交研究结果的偏见，也没有解决期刊编辑和审稿人在决定发表什么时的偏见。

 取而代之的是，他和他的同事们一直专注于推广和评估注册报告模型——类似于预先注册的报告，但最初的计划是由期刊发布的，同时致力于同行评审和发布结果。

 初步数据看起来很有希望：当Scheel和她的同事将71份注册报告的结果与152份标准心理学手稿的随机样本进行比较时，他们发现44%的注册报告有积极的结果，而标准出版物的这一比例为96%。Nosek和他的同事们发现，与在标准模型下发表的论文相比，审稿人在研究严谨性和质量方面对心理学和神经科学注册报告的评分更高。

 当该格式于2012年推出时，只有少数期刊发表了注册报告;现在有300多种杂志提供这种格式，包括PLoS ONE和Nature，后者由Springer Nature出版（Nature的新闻团队在编辑上独立于其期刊团队）。自 2023 年 2 月开始提供这种格式以来，《自然》杂志尚未发布任何注册报告，但其姊妹期刊《自然人类行为》已经发布。

 研究人员说，尽管这种格式越来越受欢迎，但仍有一些问题需要解决。今年早些时候，瑞士巴塞尔大学的睡眠研究员克里斯蒂娜·布鲁姆（Christine Blume）在《自然人类行为》（Nature Human Behaviour）杂志上发表了她关于光如何影响人类昼夜节律的第一份注册报。尽管她喜欢在数据收集之前收到关于她的研究设计的反馈——“这让我觉得我有最好的研究设计来回答我打算解决的问题，”她说——但她发现令人沮丧的是，反馈过程可能持续数月，即使研究人员花费资助的时间有限。

 诺塞克说，解决这些实际问题很重要。他承认，他自己关于注册报告 8 质量的论文本身并不是注册报告，因为拨款即将到期，团队没有时间进行漫长的审批过程并完成分析。他说：“我们不能忽视语用主义，但我们能做的是思考如何降低门槛，以便能够处理更多这样的情况。

 提供注册报告的期刊在各个学科之间的分布并不均匀;大多数是心理学，最近是神经科学。很少有物理科学期刊提供这种格式——尽管零结果，例如自希格斯玻色子以来，瑞士日内瓦附近的大型强子对撞机未能找到新的亚原子粒子，这是进步的重要组成部分。英国爱丁堡大学（University of Edinburgh）的转化医学研究员和元科学家艾米丽·塞纳（Emily Sena）表示，临床前领域的学者很少有人热衷于尝试这种形式，尤其是在研究人员开始实验之前已经有如此多的繁文缛节的情况下。

 Vazire说，这种格式在研究人员中流行起来的速度很慢。“我们没有收到很多注册报告提交。”

 她说，Sena和她的同事们一直在传播有关注册报告的信息，并帮助期刊编辑感到有能力审查提交的内容。一些资助者正在提供现金激励：2022 年，开放科学中心向愿意为他们的工作发布注册报告的意识研究人员提供了高达 50,000 美元的奖励。

 塞纳说，追踪这些干预措施如何影响学术界的边缘化群体非常重要。她说，有色人种学者更有可能签订固定合同，因此他们接受可能对整体科学更好但对个别科学家帮助较小的格式的回旋余地较小。

 开放科学中心（Center for Open Science）正计划进行试验，其中研究人员被随机分配使用标准出版模型或注册报告，以评估所得出版物的严谨性、接受率和时间表。预计到 2027 年取得成果。

 并非每一项减少发表偏见的努力都取得了成果。诺塞克说，一种很少奏效的方法是设立期刊，其明确目的是发布无效结果。他说，这些努力是出于好意，但往往行不通，因为期刊可能会与无法在其他地方发表的研究相提并论。“它无法提供研究人员需要的奖励，”他说。

 佩恩是剑桥大学出版社出版的其中一本期刊《实验结果》的共同编辑。她说，仅仅三年后，该杂志于 2023 年停刊，尽管带有“剑桥的认可”。

 有一种越来越流行的自己动手发布负面结果的途径：在预印本服务器上发布手稿。出版预印本可以提供一个展示研究成果的机会，而没有期刊投稿的压力。Pilakouta说，这种选择对早期职业研究人员特别有帮助。尽管如此，无论结果出现在哪里，写出结果都需要时间，而且在预印本服务器上发表不太可能为研究人员提供足够的激励来证明时间的合理性，古德曼说。

——零细微差别

 倡导者承认，并非每一项返回空结果的研究都值得发表。古德曼说，他鼓励研究人员发表“信息丰富”的无效和负面发现，这意味着它们来自严格设计的研究和分析，质疑以前的结果，并为探索开辟新的领域。

例如，长期以来有一种观点认为子宫是不育的——子宫和胎儿没有微生物。但是，从2010年开始，一系列论文发现胎盘中存在微生物污染，使这一假设受到质疑，并表明一些怀孕并发症可能与细菌有关。直到 2019 年，一项对 537 名女性胎盘样本的研究——这是迄今为止此类分析中最多的——才严格显示没有任何细菌信号。该研究为调查携带少量微生物的组织微生物组设定了基准，因此可能导致假阳性结果，并表明细菌感染不是怀孕问题的常见原因。

Blume表示，从数据中提取一些有洞察力的东西是很重要的，即使它们是不确定的。例如，在 2022 年，她发现尽管人造光会抑制褪黑激素，但这并不等同于睡眠质量的改变。她说，褪黑激素不一定是睡眠质量的代表的信息可能有助于这项研究的发表。

古德曼预测，只要研究人员继续在著名媒体上寻求发表文章，发表偏见就不会消失。尽管如此，他对过去十年取得的进步感到惊讶：他说，承诺接受严谨研究的顶级期刊，无论结果如何，即使在五年或十年前也是“闻所未闻的”。

Pilakouta现在领导着一个实验室，可以为她的本科生和研究生树立榜样。但她也亲眼目睹了对积极发现的渴望是多么根深蒂固。“我担心它开始得有多早，”她说。她说，下次她得到一个空结果时，她希望不会花七年时间发布它。

原文链接：https://doi.org/10.1038/d41586-024-02383-9