方法学上可靠的研究公开透明报道的证据的积累是科学进展的支柱。然而,对发表积极结果的偏倚扭曲了证据基础并破坏了研究的再现性。无结果评审通过在编辑决定过程中仅注重原理和方法而为此问题提供了解决方案。今天,BMC Psychology发表了首篇经历完整无结果评审过程的文章。在本文中,我们将讨论无结果评审可能对于作者、审稿人、编辑和读者的意义。

无结果评审是同行评审的新模式,旨在减少发表偏倚,防止以令人深刻的结果掩盖拙劣的方法。BMC Psychology于2016年12月启动了无结果评审;今天,来自英国剑桥大学的Zorana Zupan和同事发表了首篇经历无结果同行评审过程的文章。作者也在此博客中讨论了他们的研究。

文章作者和负责文章同行评审的副编辑Koula Asimakopoulou向我们讲述了他们对无结果评审的看法。 

您认为无结果评审将怎样帮助发表过程朝向更健全的方向发展?

作者:如《可重复科学宣言》(Manifesto for Reproducible Science)中所述,无结果评审是能够改善科学过程,令其朝向研究更透明、更加可重复且更高效的目标发展的多种措施之一。无结果同行评审将发表决策的焦点从研究结果转移到了研究问题的重要性和解决方法的适当性。考虑到科学过程的各阶段相互关联,因此在评估阶段采取的措施也可能积极影响其他阶段。例如,如果正如在无结果同行评审中那样,设计是评估的关键点,那么研究人员可能更侧重确保实验的稳健设计。此外,如果成果不是评估的核心,可能促使研究人员不再热衷于通过数据疏浚(也称p值篡改)产生统计学上显著的结果来提高发表的可能性。

副编辑:众所周知,就发表而言,相比报道重要影响的研究来说,报道无效结果的研究受到有利关注的可能性更低。这种方式的困境是可能产生发表偏倚,并且在一些情况下可能掩盖我们对科学的理解,从而包含表明,例如,药物疗法不比安慰剂强的结果从不出现的情况。因此,无结果评审可能帮助进行更客观的同行评审过程。 

您之前经历过发表偏倚吗?

作者:我们经历过期刊拒绝描述旨在重复并扩展先前已发表研究的研究稿件,因为稿件被认为不够新颖。

副编辑:是的——尤其是对于系统综述,它们缺少能够表明影响的研究,从而为其发表正名。

我们充分了解对于无效结果的偏倚,所以选择了我们认为能够防止此偏倚的评审过程

早在1977年,Michael J. Mahoney就发现,审稿人对无效研究的方法和质量的评判比对积极研究更加挑剔。最近,John P. A. Ioannidis证明,报道无效结果的试验发表存在大量时间延迟,无效结果比积极结果从提交到最终发表的时间多出数月。那么无结果评审能否对目前发表无效结果的障碍提供解决方案?

作者:无结果评审确实可能解决对于无效结果的发表偏倚。这是一种值得检测的设想。

副编辑:当然会。

我们对于评审过程的经历是积极的。通过评判提出的问题以及用于解决问题的方法,这看上去是对论文进行同行评审的更科学的途径。

作为作者,什么因素影响您决定选择无结果评审?

作者:我们的研究未提出任何证据,用以支持所检验的假设。我们充分了解对于无效结果的偏倚,所以选择了我们认为能够防止此偏倚的评审过程。

 

参与无结果评审是否影响稿件的准备或报告?

作者:我们以与所有发表文章一样的方式准备稿件,然后按顺序提交各部分。 

您对以这种方式进行的同行评审有何经历?它与一般同行评审相比如何?

作者:我们对于评审过程的经历是积极的。通过评判提出的问题以及用于解决问题的方法,这看上去是对论文进行同行评审的更科学的途径。

副编辑:它帮助我关注研究的方法。我的问题是感觉失去了论文的很大一部分,在很多方面,论文可能具有很棒的方法部分,但结果是完全难以理解/分析不充分的,这最初令我很担忧。因此,感觉像是我评审了论文的一半而不是一件完整的作品,这将需要一些时间来适应!

 

您是否认为公开的同行评审模式进一步提高了无结果评审的透明性?

作者:公开的同行评审能够帮助建立对无结果评审的信心。此外,有证据表明公开的同行评审比匿名评审质量更高,然而还应考虑到公开身份的同行评审的潜在风险。

副编辑:几乎是肯定的。我相信我们都会有时觉得同行审稿人很苛刻,或许是无意的。我发现公开的同行评审系统激励审稿人更仔细地考虑他们的建议。 

从读者的角度看,您认为无结果评审是否能改变对于研究质量的评价?

作者:无结果评审强调作为理解结果的背景的研究问题及其解决方法的重要性,从而确实有可能改变读者接触论文的方式。如果这导致发表更多具有无效结果的研究,那么将比现存的证据基础提供更能代表一个领域的证据基础。

副编辑:我认为它更着重于确保当你阅读方法部分和简介时,这两个部分很好地连接在一起并在逻辑上相关。因此从这种意义上说,无结果评审可能令论文更难通过初审,除非对于审稿人来说,得到的相关部分确实写得非常好。 

在您看来,无结果评审的关键利弊是什么?

作者:无结果评审具有许多优势。除了消除对发表统计学上显著的结果的偏倚之外,如果此过程促进了大量更少偏倚研究的发表,则其还可以提高系统综述的质量并帮助产生无偏倚的假说。总而言之,这将提高科学发现的质量、可靠性和可信度。

在缺点方面,虽然我们没有经验,但是将同行评审过程分为两个阶段可能需要编辑和审稿人的额外工作,可能使同行评审过程延长。缺少形式评估,这种评审可能表现得似乎在处理研究成果评估过程中偏倚的重要来源,而实际可能并非如此,从而无意间导致其对可重复科学做出贡献的错误保证。

副编辑:优点在于明显减少发表偏倚的趋向。缺点是当你首次阅读论文时必须处理感觉不完整的问题!

您是否会预见到无结果评审将成为同行评审的“标准”?

作者:是的,我们能够预见到其成为标准。但是高影响力期刊必须带头采用这些程序。

副编辑:是的。 

无结果评审为处理发表偏倚提供了可能的解决方案。然而,您认为解决此问题还需要采取哪些其他关键步骤?

作者:在《可重复科学宣言》中确定了处理发表偏倚的其他关键领域。它们包括:预登记研究、分享数据和激励良好实践。

副编辑:开辟报道无效结果研究的专门途径可能有帮助。 

您对未来同行评审的贡献

全新发表倡议的数量正在增加,重要的是它们能够得到严格的评估以确保达到期望的结果。无结果评审的评估将会通过我们的随机对照试验进行,以确定该评审如何(假设存在)影响发表偏倚和编辑决策过程。如果评估有效,那我们希望无结果评审将成为同行评审的“标准”。

在重复性和无效结果均报道不足情况泛滥的领域中,BMC Psychology一直以发表所有可靠科学为信条,旨在降低发表偏倚的影响。我们从不根据人们认为的研究兴趣或研究可能的影响进行编辑决策。我们希望,无结果评审是我们对进一步提高发表研究的再现性所做出的努力的又一大特色。

BioMed Central致力于消除发表偏倚并促进再现性。作为无结果评审的补充手段,BioMed Central目前还向作者提供了提交登记报道的机会,这是将重点从研究结果转变到所提出的科学问题和研究设计的可靠性的另一种形式。BMC Biology是首份使用此形式的BioMed Central期刊,现正接受稿件。您可以通过阅读期刊主编的本篇博客了解更多活动信息。

想帮助塑造同行评审的未来吗?向BMC Psychology投稿并点击选择参加无结果评审即可。

如需更多信息,请阅读社论或通过bmcpsychol@biomedcentral.com联系我们。

Share