上周,我参加了由OpenAIRE举办的“公开同行评审:模式、优点和局限”研讨会。作为讨论小组的一员,我同与会者分享了自己对公开同行评审所面临挑战持有的看法。

作为讨论组成员,我受邀就公开同行评审的主要挑战分享看法。我曾与BMC series医学杂志有过密切合作,而这些杂志自从发行之初(逾15年前)就基于公开同行评审模式而成功运作。因此,一开始我很难想出这其中会有什么挑战。

对我来说,我将公开同行评审视为一种伴随着强烈伦理争论的既定同行评审模式。我从经验得知(根据BMC系列杂志,并且作为Research Integrity and Peer Review的联合主编),基于这种模式来运作杂志是可行的。尽管如此,但这并不是一种跨不同领域和学科通用的同行评审方法。

这使我看到第一个挑战——不同研究群体对公开同行评审的接受程度不尽相同。

sign-109141_1280-620x342

对公开同行评审的态度

尽管传统的单盲同行评审存在的缺陷有据可查,但很多研究人员仍对公开同行评审心有疑虑。

在关于对各种同行评审模式的偏好和减少同行评审偏见的手段进行调查时,双盲同行评审一次又一次地成为最受研究人员欢迎的方法(实例见此处此处)。尽管有证据表明向审稿人隐瞒作者身份存在实际困难,但大家的倾向依然如此。

有些人担心,如果一本杂志转为公开同行评审,并且要求审稿人在其报告上署名,那么恐怕没有人还会同意参与同行评审。其他一些人担忧的是,审稿人在公开模式下无法提供负面报告。

证据何在?

有传言称这些担忧是毫无根据的,但这么说的证据又是什么呢?在BMJ进行的两组随机对照试验显示,公开同行评审的两个方面(作者知晓审稿人身份,以及公开报告)都是可行的。我们还进行了一些其它研究,结果表明公开同行评审甚至可能与质量更佳的报告相关。

但这也使我看到第二个挑战——研究的缺乏。不论是对公开同行评审,还是总体上的同行评审,都缺少相关研究。

我们所说的“公开同行评审”是什么?

随着讨论的继续,第三个,可能也是更紧迫的一个挑战在我眼中变得愈加清晰。这就是关于我们所说的“公开同行评审”的含义达成一致的挑战。

我们需要能够确立和定义每个人在提到“公开同行评审”时究竟指什么意思。

即便是在同处一室的会议代表们中间,“公开同行评审”对于每个人的意义也不尽相同。我们需要能够确立和定义每个人在提到“公开同行评审”时究竟指什么意思,特别是如果我们打算对该过程开展研究并给出更多证据,那就更应如此。

我认为,公开同行评审中的“公开”是指审稿人身份透明。我将此视为这样一种同行评审模式——通过这种模式,审稿人的身份为作者所知,并且如果文章被接受发表,审稿人的署名报告也将随之一同发表。

这只是对公开同行评审的仅仅一种定义。其他人视其为一种涵盖性术语,用于指一组涉及不同层面和方面的开放性和透明性的实践。这可能涉及发表后同行评审(包括编者主导式和作者主导式),发表后评论以及协作同行评审中使相关群体参与其中方法。

有人认为“开放”还指同行评审对所有人“开放”——也就是说,每个想要参与的人都可以提供评审意见。

路在何方?

这次讨论使我明白,尽管开放同行评审具有可行性,但仍有一些挑战有待我们去克服。

其中的很多挑战都是相互关联的。为了更广泛地提高开放同行评审的接受度,我们需要更多证据来证明它切实可行。然而在进行这样的工作之前,首先要定义我们所表达的含义,从而确保该研究有效和适用。

我清楚地认识到,同行评审整体上需要更多的研究工作。我们目前正处于一个伟大创新时期,并且随着越来越多的同行评审过程版本和细化措施不断涌现,我们需要确定什么样的工作适用于不同群体。我认为不同领域可能需要不同的方式。

我们不仅需要开展研究来评估不同的同行评审模式是否可以产生更高质量的审稿人报告;更为重要的是,还需要有研究来评估这类模式能否产生更高质量的论文——我们不能忽视这样一个事实:毕竟这才是评审过程想要达到的最重要目的。

 

Share