科学数据出版中同行评议的问题思考

熊泽润 宋立荣

(北京联合大学应用文理学院,北京 100191)

在科学交流体系中,同行评议是不能缺少的重要部分,是评价科学工作价值的最佳方法和确保科学研究质量的重要工具。期刊机构在进行科学数据出版时,也基本采用了同行评议机制和专业的出版流程来严格控制数据及相关信息的学术质量,保证其能按照出版标准和学术规范加工数据的描述信息[1]。

相较于传统学术期刊,科学数据出版的同行评议还处在探索当中,在同行评议的政策制定及实施上还存在一些不足,在数据获取、数据验证、数据标识、数据引用、数据评审等方面也面临较大的困难。以数据论文的形式在数据期刊上发表数据,是科学数据出版的主要方式之一。因此,本文在总结科学数据出版同行评议研究现状的基础上,对国内外较为成熟的几个数据出版期刊进行调研,发现科学数据出版中同行评议存在的问题,并针对这些问题提出相应的对策建议,以规范和完善科学数据出版同行评议流程,提升科学数据资源的出版质量,这是提升科学数据复用价值的基础。

相较于传统学术期刊,科学数据出版的同行评议不仅包含论文评审,还会对数据论文和数据集的一致性、数据集的质量等进行评议[2]。涂志芳[3]将科学数据出版总结为3 种模式,即作为论文附件的数据出版、独立的数据出版、数据论文出版(或数据期刊出版)。为此,笔者在中国知网(CNKI)数据库中,以“数据出版同行评议”“数据期刊同行评议”等为主题,以北大核心和CSSCI为期刊来源,经高级检索后筛选出34 篇相关文献。在Web of Science数据库及Google Scholar中,以“data publishing peer reviewed”“data journal peer reviewed”“scientific data publishing peer reviewed”等为主题进行多次检索和人工筛选,获得20 余篇相关度较高的英文文献。

对文献进行梳理、分析后发现:几乎所有的科学数据出版期刊都采用同行评议以保证质量。国内外学者对科学数据出版同行评议的研究主要涉及数据论文过程评审、数据集质量保证、同行评议机制研究等方面[4-8]。屈宝强等[9]讨论了3 种主要数据出版模式下数据同行评议的方式及内容,以及数据同行评议的关键问题,如数据获取、评议时间选择、评议内容和工具等;
孔丽华等[10]基于FAIR数据共享原则,提出一种数据出版的数据质量评价指标体系,对论文质量和数据质量进行同行评议;
孟洁等[11]总结国内外数据论文出版所采用的同行评议模式,结合地质科学数据出版的同行评议实践,分析了目前数据出版同行评议局限的原因。

综上所述,现在国内外学者的相关研究还集中在数据出版同行评议的流程、必要性等基础问题,以及对数据期刊同行评议的理论探索,尚未深入到具体的同行评议标准规范和环节控制。相关实践研究也主要是对数据出版发展状况较好的学科领域实践的总结等。

现阶段,不同学科领域就科学数据出版同行评议相关问题尚未达成共识,在同行评议和数据质量控制等方面也尚未建立统一的标准和规范。实践中,不同学科领域、数据类型对应的科学数据出版流程也不尽相同,在数据出版过程中也都有其各自独特的要求。为此,本文从国内外不同学科选取6 个创刊时间较长、出版数量较大、运行发展状况良好、出版数据论文质量较高的有一定代表性的数据出版期刊,通过查询其官网政策和相关文献对其同行评议过程进行调研。调研期刊机构的基本概况如表1所示。

表1 调研国内外科学数据出版期刊概况

2.1 《Earth System Science Data》

《Earth System Science Data》(ESSD) 是 地球系统科学领域期刊,旨在发布地球系统科学领域最新、最优及原创的高质量的系统数据集,供全球学者免费使用,提升该领域高质量数据的重用。

该期刊采用互动式同行评议模式,且至少从独特性、有用性、完整性3 个标准来评估数据是否可用。其同行评议过程由两个阶段组成:首先由有能力的编辑进行初步访问审查以确保发表在ESSD上的手稿的基本科学和技术质量,然后由评委、作者和科学界其他成员进行互动讨论和公开评论,以加强对发表在ESSD上的论文的质量控制,这种互动方式超越传统的非公开同行评议的限制。互动公众讨论又包括开放讨论(8 周)和最终响应(4 ~8 周)。ESSD同行评议的具体实施步骤包括:原稿提交和编辑分配、访问查看、技术更正、公开讨论(8 周)、最终回应、呈交经修订的手稿、同行评议完成、在ESSD出版最终修订文件。这一互动同行评议流程如图1所示。同时,该期刊要求进行同行评议的专家不仅要审阅手稿,还要审阅数据集本身,并采用一些循序渐进的审查方法,如阅读稿件、检查数据质量、查验文章和数据集的一致性、检查数据展示质量、检验通过阅读这篇文章并下载的数据集、是否能够理解并(重用)将来的数据集[12]。

图1 ESSD互动同行评议流程

ESSD的同行评议和发表过程不同于传统的科学期刊。该过程包含科学讨论论坛、地球系统科学数据讨论在内的两个阶段,而两个阶段能够充分利用互联网的潜力来促进科学讨论,并使科学论文能够迅速发表。

2.2 《Scientific Data》

《Scientific Data》是一本旨在促进更广泛的数据共享和重用的综合性开放获取期刊。它主要出版的文章类型为数据描述符,即观察和实验数据集的详细描述。其同行评议标准是基于用于生成数据的程序的技术严格性、数据的重用价值、数据描述的完整性、数据文件和存储库记录的完整性[13]。

该刊在同行评议上采取与传统期刊论文评审相似的评议模式,同行评议过程不对外公开,仅作者本人可以看到评审结果。对于每一份提交的稿件,编委会和内部主编会在协商的基础上,根据其是否符合科学数据范围及数据的重用价值,决定哪些稿件将被发送出去进行深入的同行评议。对于送出进行同行评议的稿件,编委会成员将选择一个或多个推荐人来评估提交的作品,并在此同行评议过程中会有一名编委会成员进行全程监督。

《Scientific Data》提供了一个简化但严格的同行评议过程,评议过程中关注数据质量和可重用性,而不是具体的解释,能够有效评估生成数据的实验技术质量和数据描述的完整性。

2.3 《Biodiversity Data Journal》

《Biodiversity Data Journal》是一个经由同行评议的综合性开放获取在线平台,旨在帮助任何种类的生物多样性相关数据更加快速地出版、传播和共享。提交给该期刊的文本和数据都将经过正式同行评议,并对其技术合理性以及适当和充分的元数据的正确呈现进行评估。评估时将重点考虑论文原创性、之前的研究、稿件质量、数据质量、稿件与资料的一致性等方面。

该期刊所有手稿都要在ARPHA Writing Tool(AWT)环境中进行提交前的技术评估。论文和数据的科学质量及重要性将由科学界通过新颖的、以社区为基础的发表前和发表后同行评议做进一步的评判[14]。如发表前的同行评议依据一些基本规范来评估数据及其相关数据集(包括解读数据或元数据的软件工具)的完整性和数据质量,以及数据出版流程等。同时,该期刊还支持同行评议和出版过程中的开放科学方法,鼓励期刊的评审者向作者开放他们的身份。在社区同行评议中,可由作者选择稿件是否可以开放给所有注册的期刊用户进行评论。在任何一种情况下,评论者都可以选择匿名或公开自己的姓名。

《Biodiversity Data Journal》采用的社区同行评议,在不以任何方式损害最终产品质量的情况下,减轻了每个审查者的负担。不仅增加了透明度,还让更广泛的专家社区参与进来,提高了发表论文和数据的质量。

2.4 《BMC Research Notes》

《BMC Research Notes》是BioMed Central旗下的一个开放获取期刊,发表来自所有科学和临床学科的同行评议的投稿,包括有研究价值的初步观察,对以前工作和既定方法的更新,有效的负面结果,以及科学数据集和描述。在专业编辑的监督下,该期刊为有价值的数据和研究观察提供一个包容性的论坛,以更容易找到、引用和分享投稿者的简短报告。

《BMC Research Notes》是专注于所有科学和临床学科的个体研究社区需求的特定主题期刊。该期刊使用的同行评议类型是单盲同行评审。它是采用单盲同行评议系统在稿件出版前对其进行的质量评估。提交给该期刊的手稿由期刊编辑进行评审,保证所有发表的文章(包括研究笔记和数据笔记)都是经过同行评议的。在评审过程中,相关研究领域的独立研究人员会对提交的原始稿进行原创性、有效性和重要性的评估,以帮助编辑确定手稿是否应该发表在他们的期刊上。经过该期刊的同行评议,确认了投稿的有效性,也使稿件变得更加完善,更加容易阅读且更加有用。BMC使用的同行评议过程如图2所示。由此可见,该期刊采用的单盲同行评议是传统的同行评议模式,许多审稿人都对其感到满意,而且有助于对稿件进行公正的评价。

图2 BMC使用的同行评议过程

2.5 《全球变化数据学报(中英文)》

《全球变化数据学报》(GCdataD)是以数据论文出版为核心内容的专业数据出版期刊,是全球变化科学研究数据出版和传播平台“全球变化科学研究数据出版系统”的重要组成部分,旨在促进大气、海洋、地理、植物、农业等与全球变化相关学科领域的数据开放与共享。

GCdataD要求投稿文章必须描述元数据、数据研发方法和数据验证结果。与其对应的数据集则发表在《全球变化数据仓储》上。在同行评议时,GCdataD采取双盲同行评议流程,至少有两名同行专家(一般为3 ~5 名专家)分别对数据集和数据论文进行评议。评议通常从数据集开始,但在此过程中也可能需要同时开展数据论文评审。审稿专家应与被评审数据和论文在同一领域,以公平和及时的方式对数据和论文稿件进行详细评价。评议结果分为“可发表”和“不可发表”两种。当两个评审专家的评价结果不一致时,将选择第三位专家对该数据集和论文进行评议。未经同行评议,任何数据集和数据论文不得在《全球变化数据仓储》和《全球变化数据学报》上发表。

2.6 《中国科学数据》

《中国科学数据》是经过同行评议并在国内外公开发行的在线科学数据出版期刊,主要发表各领域中具有科学研究特色的数据论文。该刊旨在增进多学科领域科学数据的开放、共享和引用,并推动整个数据科学的发展。

该期刊对投稿论文的评审与出版具有严格的流程,在期刊出版时分为Ⅰ区和Ⅱ区:投稿论文在通过初审(包括责编初审、数据初审)后,将在平台Ⅰ区在线发布,接受专家同行评议和大众评议;
之后是责编委复审和编委会投票,当论文通过全部审核流程后将正式发表在平台Ⅱ区。评审过程中全部的评审意见和反馈都会在平台公开。

基于以上调研可知,多数国外科学数据出版期刊主要采取传统的匿名评审和相对开放的公开专家姓名的同行评议模式,主要从数据论文、元数据、数据本身等方面控制数据质量。少数期刊则采用更加开放、透明的交互式公共讨论、社区同行评议等模式,突破了传统期刊同行评审模式的弊端,增加同行评议的透明度,让更广泛的专家、社区参与进来,保证数据及时发布的同时,提高了发表的科学数据质量。

而国内的科学数据出版期刊在进行同行评议时尚没有给出相对清晰、完善的具体评议标准,更多的是依靠评审专家自身的专业知识积累和对相关领域发展的预判进行评审的。这就对同行评议专家能力提出了较高的要求,无形中也增加了专家评审的工作量和难度。但期刊并没有因此降低评审流程的严谨性,同时也在积极探索更为开放的评审方式,如大众评审,使得同行评议更为公正和开放。

相较于传统学术期刊,科学数据出版期刊机构的数据同行评议在评价内容上范围更广,不仅包括数据论文,还包括数据集以及两者之间关系的评价。在评议流程上也更加复杂,有技术性审查、同行评审、双盲评审,分别检验元数据的准确性、数据文件的充分性、数据计算和分析结果[18]。与学术期刊的论文审查相比,科学数据出版因数据本身存在诸如数据集较大、依托互联网传输、依靠相应数据处理软件才能查看、不同学科的数据形式及标准不同等特点,使得在数据获取、数据标识、数据引用、数据评审等方面的评价都面临较大的困难。

(1)缺乏广泛认同的同行评议标准体系

同行评议的标准化和规范化是有效控制数据论文质量的基础[19]。标准和规范化要求数据出版期刊在进行数据论文同行评议时,要制定严格的同行评议标准,从数据质量、论文质量以及二者的一致性上进行审核。但目前多数科学数据出版期刊机构的数据同行评议仍采用传统的期刊评价方式,没有考虑数据不同于传统论文的独特性,评价数据质量仅基于数据的可用性等少数指标。同时学科领域内没有形成明确的数据质量评价标准体系。在同行评议时也存在诸多问题,如不同类型、不同学科的数据应采用何种评价标准,在评审专家选择上应如何考虑,评审与共享之间如何平衡等。

压力传感器。由于表压传感器更通用且比绝压传感器容易标定,在压力高于0.15MPa时,推荐选用表压传感器;
当压力低于0.15MPa,推荐选用绝压传感器[2]。

(2)同行评议专家队伍筛选不足

科学数据出版同行评议由于其评审内容的特殊性,往往比传统期刊对评审专家的要求更高。对科学数据进行同行评议,不仅要考虑数据集及数据论文的科学性,还要了解元数据标准和数据结构,甚至还要非常熟悉数据采集方法及相关仪器的操作。同时,不同学科领域的数据类型、实验设计和系统都具有较大差别。在数据评审时,数据评审专家只有掌握数据同行评议方面的专业知识,才能获取、理解、评估不同的科学数据。而目前既精通领域专业知识,又有能力审查数据集及数据论文的全方位专家却并不多。

因此,推荐人的选择对评审过程至关重要,编委会成员的选择也应基于多种因素,包括专业知识、技术操作、时间与精力投入和以往的经验等方面。比如,一般来说,同行评审过程和截止日期是在假定投稿在技术上准备充分、编写简明的前提下进行的,但往往数据论文的投稿或同行评审的过程可能存在各种各样的问题,同行评审会耗费评审专家很多时间和精力,这种时间成本的投入在当前的评价体系中无法获得相应的价值体现,从而影响专家对待科学数据出版同行评议工作的积极性,使得可供筛选的专家资源并不多,加大了专家选择的困难程度。

(3)适用于科学数据出版同行评议创新方式和模式不多

同行评议主要有单盲、双盲、开放同行、透明同行4 种类型。其中开放同行指的是作者知道审稿人是谁,审稿人也知道作者是谁。如果稿件被接受,指定的审稿人报告将与文章一起发布。透明同行是指审稿人知道作者的名字,但作者不知道是谁审阅了他们的投稿,除非审稿人选择在他们的报告上签名。如果投稿被接受,匿名审稿报告将与文章一起发表。不同科学数据出版机构往往会根据自身数据审查流程使用不同类型的同行评议方式。

随着数据量呈指数规模增长,科学数据同行评议方法也面临越来越大的压力,急需创新探索,建立快速、高效的新方式或模式。如相对于常用的出版前的同行评议,出版后的评审形式在人、时间、资源上都更具可扩展性。一些诸如网络社区同行评议方式、互动式用户参与评议方式等都起到一定的改进投稿质量作用。因此,在新的交互技术、多媒介应用的支持下,科学数据出版机构也应积极探索更有效的同行评议方式,在不以任何方式损害最终产品质量的情况下,尽量减轻每位审查者的负担,提升数据审查的公正和效率。

(4)同行评议过程中数据的可获取性和可读性成为一种挑战

面对海量的、多类型的科学数据,显然不能采取传统同行评议方式,将受检数据发送到同行评议专家客户端进行评审。而是邀请评审专家访问专门的数据评审系统采用专门的数据处理或解读软件工具等对数据对象进行解读和评审。因此,数据处理系统(或工具)、网络通信带宽等都是支撑数据同行评议过程中数据可获取性的关键因素。

数据的可获取对科学数据同行评议来说至关重要,是数据审查的基础。如果评审者无法获取数据集及数据论文,就不能开展同行评议,且获取过程是否顺利也会影响评议,如获取数据集时发现元数据文件收费,那么数据集的可用性将会降低,进而影响数据评议结果。另外,数据集的元数据可读性强、易懂,有可理解的格式、轻松友好的界面等,都能保证数据评审者顺利获取和理解数据[20]。当数据量逐渐增加,数据文件个数越来越多,要判断数据是否包含敏感、保密内容,传统的人工审核方式已经无法满足评议需求,因此急需探索和研究采用机器进行审核的方式。而那些无法完整跟踪数据形成过程,难以保证数据的准确性和完整性,并且在取得数据的过程中又可能会受到设备、技术、管理和认知等方面的影响,都成为数据在获取方面的障碍。

综上所述,科学数据出版机构在数据同行评议政策制定及实施上仍面临诸多困难,如数据集太大,评审者难以获取和理解,数据记录不完整;
缺乏解读数据的专业软件、工具,在数据校验、数据验证上存在障碍;
针对假冒数据、篡改数据以及违规使用他人数据的情况仅仅依靠专家难以区分和识别,在数据确权上较为困难;
不同学科的数据形式、范围不同,其同行评议的技术标准也有所区别,对科学数据出版机构制定同行评议政策上提出较高的要求;
同行评议时评审者往往会花费较多时间和精力等。这些问题都会影响科学数据同行评议的发展。

(1)加快数据出版期刊同行评议标准体系和机制的建设

数据出版期刊是科学数据出版的主要方式之一,在整个出版体系中也占据重要的位置,发挥关键性的作用。要加快制定数据出版期刊同行评议标准体系,根据不同学科领域及行业的数据特点,对数据集及数据论文的原创性、科学性、完整性、准确性、两者之间的一致性以及数据的重用价值等方面进行同行评议,建立多元化的期刊同行评议标准。同时,我国科学数据出版机构应建立高效而有针对性的数据同行评议机制,如“先评议后出版”“多版本出版”等,以加强对出版内容的质量控制,并针对不同学科领域制定相应的同行评议流程规范,探索更加公开透明的评审方式,如互动式同行评议模式或社区同行评审,有助于同行评议过程的公开公正[21],以促使数据的共享交流和科学数据出版的进一步发展。

(2)加强同行评议专家培训及激励政策

科学数据出版机构的数据同行评议不仅要考虑数据论文的学术性及规范性、完整性,还要注重数据集质量、元数据质量、文章与数据集的一致性、数据展示质量、数据集能否下载并阅读、能否理解并重用将来的数据集等问题。因此,要加强对同行评议专家的培训,在专业知识背景的基础上,掌握本领域的科学数据特点,并熟练使用计算机软件获取、解读数据,还要了解数据如何重用,快速、准确地判断数据质量。同时,数据论文对应的数据集体量较大,评审有一定难度,需要的评审专家数量较多,且每一篇数据论文及数据集都需要花费较多的时间去评价,因此还要加强同行评议专家的培养,丰富同行评议的专家库,并制定合理的激励政策,如提高评议专家的收益、对专家进行科学数据出版同行评议工作给予更多的价值肯定等来激发其积极性。

(3)引入社区同行评审和出版后评审

社区同行评审的目的是减少以往评审专家投入的精力和时间,增加透明度,让更广泛的专家社区参与进来,提高发表质量。引入一个完全公开的评审程序,作者可以通过该程序选择将他们的投稿提供给所有注册的期刊用户进行评论。而在过去的审稿过程中,只有编辑、审稿人和作者才能看到稿件。在任何一种情况下,评论者都可以匿名或公开自己的姓名。

随着数据论文数量增多,影响力扩大,期刊用户更加活跃,出版后的数据用户的同行评议模式也将更具可行性。根据数据使用者对相关数据提出的意见建议,可对数据论文进行修改并进行数据使用度量,数据的可扩展性也因此而提升。

(4)开发数据论文自有稿件编辑器及审查工具

对于格式不规范、内容质量低的数据论文,在进行同行评议之前先进行稿件审查,会大大减少编辑和评审专家的工作量。科学数据出版机构会在提交标准中规定排版要求或提供论文模板。如《中国科学数据》给出了Word形式的模板要求,规定了论文的每一部分应写具体内容和上传的数据格式等。但一些国外数据出版期刊能使用稿件编辑器帮助作者在具体模块中填充数据、领域分类、选取词表等生成符合要求的数据论文[22]。使用期刊稿件编辑器能够提高同行评议效率,有效地规范数据论文的格式和内容,并使数据可用性得到提升。为此一些科学数据出版机构可根据学科领域科学数据的特点开发自有稿件编辑器,嵌入论文编辑流程中,有效实现对数据论文的质量管控。而对于科学数据的审查及理解,一些工具和过程可能有助于快速、便捷地开展科学数据同行评议。

科学数据出版是促进科学数据共享和重复利用的重要方式之一,也将成为未来学术出版传播体系中必不可少的一部分。本文在对国内外典型的科学数据出版同行评议过程进行调研的基础上,提出了一些对策建议。但科学数据出版尚在发展中,一些诸如科学数据出版中元数据标准等规范、技术应用尚在制定中,其出版模式和实现途径还在探索中。因此,未来适合科学数据出版有效的同行评议仍需在实践和发展中进一步探索和研究。

猜你喜欢 评议期刊论文 期刊更名启事军事运筹与系统工程(2022年1期)2022-11-15期刊简介质量安全与检验检测(2022年2期)2022-11-13强化述职评议 落实主体责任江苏安全生产(2022年9期)2022-11-02本期论文英文摘要鄱阳湖学刊(2018年3期)2018-07-28期刊审稿进度表地理教育(2018年6期)2018-07-12创新评议形式 提高评议实效人大建设(2017年2期)2017-07-21对“自度曲”本原义与演化义的追溯与评议中华诗词(2017年10期)2017-04-18本期论文英文摘要鄱阳湖学刊(2016年5期)2016-11-15本期论文英文摘要鄱阳湖学刊(2016年1期)2016-01-28“两官”评议:人大司法监督新途径浙江人大(2014年5期)2014-03-20

推荐访问:评议 版中 同行