学术期刊评价方法的选择性

【争鸣与探讨】　　全国第四轮学科评估方案中的科研评价部分，特别是“A类期刊”的增列与取消，一时成为热议话题。事实上，科研评价是世界性难题，最近几年，国际学术界提出了科研评价方面的两个“宣言”——“莱顿宣言”和“旧金山宣言”。放在世界的范围内，如何看待这次学科评估中某些新鲜尝试呢？有哪些可取之处和不足之处？“A类期刊”的取消不意味着相应的探索和思考也被取消。　　“莱顿宣言”纠偏“量化至上”　　“莱顿宣言”（The Leiden Manifesto for research metrics）的提出源于2014年在荷兰莱顿召开的一次国际会议，美国佐治亚理工学院的公共政策教授Diana Hicks等提出了合理利用科学评价指标的七条原则，后来扩充为十条，并于2015年4月发表在《自然》杂志上。　　“莱顿宣言”的十条原则，简言之，第一，量化评估应当支撑质化的专家评估，而不是取而代之；第二，衡量绩效应基于机构、团队和个人的科研使命；第三，保护卓越的本地化的相关研究；第四，保持数据采集和分析过程的公开、透明和简单；第五，允许被评估者验证数据和分析；第六，考虑发表和引用的学科差异；第七，对个人研究的评价应基于其综合作品的质性评价；第八，应避免评估指标的不当的具体性和虚假的精确性；第九，识别认清评价指标对科研系统的影响；第十，定期审查评价指标并加以改进。　　按笔者的理解，这十大原则可以归为四个方面。　　第一方面，即总的原则是：基于指标的量化评估是第二位的，是辅助性的，而同行评价的质性评估是第一位，是主导性的。量化指标可以降低同行评价中的偏见，促进更加深入的审议，提高同行评价的质量，但量化指标不应取代评估者基于充分信息基础上的判断。评估者仍然需要对其评估负责，而不是完全让“数据说话”了事（第一条原则）。所以，“莱顿宣言”并不提倡科研评价要用量化指标，更不提倡把量化指标作为主导甚至是唯一指标。“莱顿宣言”只是说在用到起辅助作用的量化指标时需要注意的一些原则。　　第二方面，在总的原则指导下，运用科研评价指标做具体评价工作时的下位原则，即要充分考虑科研活动本身是创造性的、个性化的、独特性的等特点，所以需要在评价过程中特别注意科研活动的使命的差异（第二条原则）、地域性的差异（第三条原则）、学科性的差异（第六条原则）、个体性的差异（第七条原则）。这些差异容易被量化指标遮蔽，所以需要在评价中采用综合计量或者质性评估办法。　　第三方面，关于科研评价指标的具体数据采集和分析的要求，要公开透明（第四条原则）、可以复核验证（第五条原则）。　　第四方面，对科研评价指标的态度，要理解实质内涵（第八条原则）、警惕负面影响（第九条原则）、不断改进完善（第十条原则）。　　“莱顿宣言”每一条都内涵丰富，指向明确。与之对比，可以发现，我国科学评价工作还大有改进空间。　　“旧金山宣言”纠偏“以刊评文”　　“旧金山宣言”（The San Francisco Declaration on Research Assessment，DORA）的提出源于2012年12月美国细胞生物学学会年会期间，一些学术期刊的编辑和出版者提出关于科研评价的建议，在此基础上形成了“旧金山宣言”，2013年5月，78个科学组织的155位科学家签署了这份宣言。“旧金山宣言”引发了世界科学界的广泛关注，《科学》杂志撰写社论支持“旧金山宣言”，认为影响因子最重要的危害是可能妨碍创新，它引导科学家关注发高影响因子的文章，追逐所谓的“热点”，而不是潜心科研创新。　　“旧金山宣言”并不像“莱顿宣言”那样包含相当宽泛的内容，它只是针对期刊的计量指标（主要是期刊影响因子）而提出的，呼吁科学界停止使用期刊影响因子来评价科学家及其工作。内容包括总体建议以及对资助机构、研究机构、出版机构、计量指标提供机构以及科研人员的建议，共计18条。总体建议是：“停止使用期刊影响因子等期刊计量指标作为替代指标，来评价单个研究论文或学者个体的贡献，或者是作为聘用、晋升、资助等方面的依据。”其他区分对象的建议都是围绕着总建议展开的。　　期刊影响因子是20世纪50年代由汤姆森路透公司开发出来的，其最初提出的目的是为帮助图书馆评估和挑选决定订购哪种期刊，但是现在影响因子已经被广泛应用于评价个人和研究机构的水平和贡献。期刊影响因子的含义是某期刊前两年发表的论文在统计当年的被引用总次数除以该期刊在前两年内发表的论文总数。可见它只是期刊的评价指标，并非科研工作本身的评价指标，影响因子不具有对学术质量精确评价的功能，所以不能单凭影响因子就断言论文优劣。“旧金山宣言”倡导的就是评估科研工作要回归到科研工作本身的价值中去，而不是基于刊载的期刊。　　“A类期刊”弊大于利　　回到开篇的话题。客观地讲，这次学科评估方案在完善科研评价方面积极探索，其价值取向和工作方向与“莱顿宣言”所倡导的内容是比较契合的。比如在评估方案和相关说明中，提出“学术论文质量”采用“三结合”评价组合。一是坚持质量与数量相结合，采用代表性论文，在“比总量”与“比人均”之间找到平衡点；二是坚持主观与客观相结合，通过量化指标统计进行客观评价外，还通过“代表性论文”进行专家主观评价；三是坚持国内与国外相结合，要求包含一定比例的中文期刊，强化中国论文评价话语权。这背后的指导思想都是“莱顿宣言”提倡的摒弃“唯量化指标论”，采用更加综合的评价方式。　　“莱顿宣言”的第三条原则特别提到，要保护卓越的本地化的研究。研究的卓越不等同于在国际期刊上发表英文论文。一些偏重于本国或者区域性的课题的研究，往往并不被知名的英文期刊所青睐。“只有基于高质量的本地语言期刊的指标才能正确评价和推动卓越的本地化的研究。”这高度契合了这次评估中强化国内研究论文地位的思想。　　但“A类期刊”的取消仍有许多值得反思和总结的地方。无论如何，“A类期刊”的设定其本质依然是“以刊评文”，这是“旧金山宣言”所明确反对的。“以刊定质”，而不是用学术质量本身来评价科学研究，已经日益遭到越来越多人的反思、质疑、批评和抵制，这个时候又祭出这杆大旗，似有逆向而动之嫌。真正需要下功夫的是如何在同行评价和代表作评价方面拿出切实可行的操作办法，而不是继续在“看刊物、数数量”的道路上越走越远，那样只能带来更多的浮躁。更为重要的是，教育行政部门在主导此事，其“指挥棒的力量”不会随评估结束而结束，而会长久发挥作用。量化指标的推出在世界范围内几乎都是“民间”行为，鲜见教育行政部门直接推动设立。无论是从“管办评分离”“放管服”的角度，还是从落实创新发展理念、推进“两个一流建设”的角度，推出“A类期刊”都是弊大于利。

中文核心期刊与中国科技核心期刊（简称"统计源期刊"）之比较北京大学出版社出版的《中文核心期刊要目总览》（以下简称《总览》）和中国科技信息研究所（ISTIC）出版的《中国科技期刊引证报告》（以下简称《报告》）分别列出的核心期刊表和统计源期刊表是国内作者发表论文应用最广的选刊标准，它们都是经过一定的选刊原则筛选出的高质量的期刊目录，也是科研院所进行学术成果评价时最常利用的参考工具。两者既有关联，又有区别。本文以2004年版《报告》与《总览》为依据，以其中的生物医学类期刊为例，对两者进行比较。1 核心期刊与统计源期刊对某一主题而言，将科学期刊按照其登载相关论文数量的减序排列时，可以分出对该主题最有贡献的核心区以及论文数量与之相等的几个区，位于核心区的期刊称为核心期刊。广义的统计源期刊是指被各类检索系统、数据库等收录而作为其文献统计来源的期刊。《总览》是国家社会科学基金项目"学术期刊评价及文献计量学研究"的子课题---中文核心期刊评价研究的成果，研究人员采用文献计量统计与定量评价，同时结合学科专家对定量评价结果的定性评审形成最终研究成果。《总览》所确定的核心期刊表在国内具有较强的权威性，应用范围比较广泛。《报告》是按照美国科学情报研究所（ISI）《期刊引证报告》的模式，结合中国期刊发展的实际情况，确定了在中国出版（不含港、澳、台）的1576种（2004年版）科技期刊列为《中国科技论文统计源期刊》，又称为中国科技核心期刊，学科范畴主要为自然科学领域，是目前国内比较公认的科技统计源期刊目录。因其受科技部委托，带有官方色彩，权威性名列国内首位，人们习惯称其为"统计源期刊"，下文所说统计源期刊即指此目录。2 《总览》与《统计源期刊》的相同点1 理论依据相同 两者都以加菲尔德引文分布规律与布拉德福分布规律为理论依据，因此可以认为都是经过严格的文献计量学标准而获得的核心期刊。2 均采用多指标的定性、定量评价指标体系 2004年版《总览》采用定性与定量相结合的方法，其中定量评价指标体系由7 个评价指标组成。2004《统计源期刊》评价计量指标选择了期刊引用计量指标与来源期刊计量指标两部分共15项指标。3 两者研究成果均不能作为金标准使用 核心期刊与统计源期刊都是一种相对统计的概念，由于文献计量学理论的局限性、数据采集的不完整性以及统计方法的不全面性，都会使评价出现这样那样的缺点和不足，其研究结果不可能像自然科学那样精密，因此两者只能起参考工具作用，不能作为检验期刊质量的"金标准"，过分夸大其作用只会带来负面影响。3 《总览》与《统计源期刊》的区别1 编辑出版单位不同 《总览》由北京大学图书馆与北京高校图书馆期刊工作研究会联合研制而成，属于民间性质;而《统计源期刊》由国家科技部委托中国科技息研究所完成，具有一定官方性质。2 学科分类原则不同 两者都采用分学科统计评价指标数据的方法。学科划分对期刊评价结果影响很大，学科划分过大，小学科学术性强的期刊会被淹没;划分过细，小学科的一般性期刊就会进入核心区。《总览》基本依据《中国图书馆分类法（第4版）》划分学科，同时考虑学科期刊的数量、期刊性质等多种因素，共设学科类目74个。《统计源期刊》则根据国家技术监督局发布的学科分类国家标准和《中国图书资料分类法（第4版）》的学科分类原则，同时考虑综合性期刊情况及各学科期刊数量与学科性质差异，增设了综合类和理工大学、工业综合类、管理学类，对农业学科及医药卫生类学科作了进一步细分，共设55个学科类目。3 期刊的来源与范围不同 《总览》以52种数据库或文摘刊物作为评价指标统计源，统计文献量总计达943万篇，涉及期刊2万种，通过多指标综合评价的定量评价方法及定性评价，取各学科专业期刊数量的15%和进入统计的期刊数量的2%，共评选出1798种核心期刊。覆盖的学科范围广泛，包括社会学科（社会学、政治、法律、军事、经济、文化教育、历史等）与自然学科（医药、农业、工业技术等），但未收录港、澳、台及国内出版的英文刊物。《统计源期刊》来源期刊的选择综合参考了国外重要检索数据库收录国内期刊的情况及国内已有文献计量分析成果、国内大型检索工具、各学会学报及其重要期刊等各种期刊表，并征询了专家意见，每年根据期刊文献的被引用情况等因素对来源期刊表进行一定的调整。期刊入选原则是:①期刊文献的同行评审;②期刊文献计量指标;③期刊的社会和学科影响;④期刊文献是否反映了本学科的研究成果;⑤照顾新兴学科和高技术学科;⑥适当的地区性考虑;⑦在国际和国内的显示度。《统计源期刊》仅包括国内出版的科技类期刊，包括国内出版的英文刊物，但不包含社会学科期刊。4 评价指标体系不同 《总览》采用定性与定量相结合的方法，核心期刊选择了52种数据库或文摘刊物作为评价指标统计源，评价指标体系由7个评价指标组成:被索量、被摘量、被引量、他引量、影响因子、被摘率、获奖或被重要检索工具收录。专家定性评审力度大，共选聘1871位评审专家参加了核心期刊的评审。而《统计源期刊》定性评价力度相对小，虽然经过一定的同行评审，但以定量研究为主，强调研究结果的客观性。2004年评价计量指标选择了两部分共15项指标:①期刊引用计量指标:总被引频次、影响因子、扩散因子、引用期刊数、即年指标、他引率、被引半衰期。主要显示期刊被读者使用和重视的程度，以及在科学交流中的地位与作用。②来源期刊计量指标:来源文献量、参考文献量、平均引用率、平均作者数、地区分布数、机构数、国际论文比、基金论文比。通过来源文献的统计分析，全面描述该期刊的学术水平、编辑状况和科学交流程度5 收录期刊数量 《总览》核心期刊表收录期刊总数1798种，其中生物科学类44种，医药卫生类223种。《统计源期刊》收录期刊总数1576种，其中生物科学类51种，医药卫生类423种。223种生物医学期刊既是《总览》中确认的核心期刊，又是统计源期刊。两者在特种医学、耳鼻咽喉、皮肤、神经病学与精神病学、肿瘤学、儿科、妇产科、口腔医学、外科、皮肤与性病等学科类目中所收刊种完全一致。两者收录生物医学期刊类目刊种之比较，见表1，属于《总览》核心期刊而非统计源期刊者，见表2。 表1 《总览》与《统计源期刊》收录生物医学期刊类目刊种比较 学科类目名称 《统计源期刊》（略）6 出版周期不同 《总览》每4年出一新版，出版时间比数据统计大约滞后5年，反映期刊变化不够及时。《统计源期刊》每年更新，能够较快反映期刊发展动态。7 对综合性学科与边缘性、交叉性学科期刊评价效果不同 由于《总览》是分学科评价的，因此综合性和交叉学科期刊会因为刊载的论文学科分散而难以进入核心期刊表。2000年版开始通过增加综合性学科类目，将综合性期刊分散在各学科的数据汇总一起进行评价，产生综合性核心期刊表，较好解决了综合性期刊问题。但边缘性、交叉性学科的优秀期刊进不了核心区的问题仍未能很好解决。《统计源期刊》选择入选期刊时给新兴学科和高技术学科一定考虑，并适当、《中华航海医学与高气压医学杂志》、《中华老年多器官疾病杂志》、《听力学及言语疾病杂志》等边缘性、交叉性学科期刊能入选统计源期刊。4 注意合理使用核心期刊与统计源期刊均采用定性与定量相结合的评价方法，对学术期刊评价比较客观公正，从而成为国内目前比较公认的期刊评价工具。但核心期刊与统计源期刊只是一种相对统计的概念，没有完全绝对的量化指标，其研究成果可以作为评价学术研究成果的参考工具，可以作为读者投稿的参考工具，但如果作为衡量论文水平的绝对标准来用，就可能发生谬误。从个体角度看，发表在核心期刊或统计源期刊上的论文未必每篇学术水平都高，而发表在非核心期刊、非统计源期刊上的文章未必每篇学术水平都低，应该根据评价项目具体情况请学科专家来评价论文本身学术价值。因此，使用两种期刊表时应避免因片面夸大其作用而带来的不良影响。中文核心期刊与中国科技核心期刊（简称"统计源期刊"）之比较(2)2007年12月17日 星期一 上午 11:3 期刊的来源与范围不同 《总览》以52种数据库或文摘刊物作为评价指标统计源，统计文献量总计达943万篇，涉及期刊2万种，通过多指标综合评价的定量评价方法及定性评价，取各学科专业期刊数量的15%和进入统计的期刊数量的2%，共评选出1798种核心期刊。覆盖的学科范围广泛，包括社会学科（社会学、政治、法律、军事、经济、文化教育、历史等）与自然学科（医药、农业、工业技术等），但未收录港、澳、台及国内出版的英文刊物。《统计源期刊》来源期刊的选择综合参考了国外重要检索数据库收录国内期刊的情况及国内已有文献计量分析成果、国内大型检索工具、各学会学报及其重要期刊等各种期刊表，并征询了专家意见，每年根据期刊文献的被引用情况等因素对来源期刊表进行一定的调整。期刊入选原则是:①期刊文献的同行评审;②期刊文献计量指标;③期刊的社会和学科影响;④期刊文献是否反映了本学科的研究成果;⑤照顾新兴学科和高技术学科;⑥适当的地区性考虑;⑦在国际和国内的显示度。《统计源期刊》仅包括国内出版的科技类期刊，包括国内出版的英文刊物，但不包含社会学科期刊。　4 评价指标体系不同 《总览》采用定性与定量相结合的方法，核心期刊选择了52种数据库或文摘刊物作为评价指标统计源，评价指标体系由7个评价指标组成:被索量、被摘量、被引量、他引量、影响因子、被摘率、获奖或被重要检索工具收录。专家定性评审力度大，共选聘1871位评审专家参加了核心期刊的评审。而《统计源期刊》定性评价力度相对小，虽然经过一定的同行评审，但以定量研究为主，强调研究结果的客观性。2004年评价计量指标选择了两部分共15项指标:①期刊引用计量指标:总被引频次、影响因子、扩散因子、引用期刊数、即年指标、他引率、被引半衰期。主要显示期刊被读者使用和重视的程度，以及在科学交流中的地位与作用。②来源期刊计量指标:来源文献量、参考文献量、平均引用率、平均作者数、地区分布数、机构数、国际论文比、基金论文比。通过来源文献的统计分析，全面描述该期刊的学术水平、编辑状况和科学交流程度5 收录期刊数量 《总览》核心期刊表收录期刊总数1798种，其中生物科学类44种，医药卫生类223种。《统计源期刊》收录期刊总数1576种，其中生物科学类51种，医药卫生类423种。223种生物医学期刊既是《总览》中确认的核心期刊，又是统计源期刊。两者在特种医学、耳鼻咽喉、皮肤、神经病学与精神病学、肿瘤学、儿科、妇产科、口腔医学、外科、皮肤与性病等学科类目中所收刊种完全一致。两者收录生物医学期刊类目刊种之比较，见表1，属于《总览》核心期刊而非统计源期刊者，见表2。 表1 《总览》与《统计源期刊》收录生物医学期刊类目刊种比较 学科类目名称 《统计源期刊》（略）6 出版周期不同 《总览》每4年出一新版，出版时间比数据统计大约滞后5年，反映期刊变化不够及时。《统计源期刊》每年更新，能够较快反映期刊发展动态。7 对综合性学科与边缘性、交叉性学科期刊评价效果不同 由于《总览》是分学科评价的，因此综合性和交叉学科期刊会因为刊载的论文学科分散而难以进入核心期刊表。2000年版开始通过增加综合性学科类目，将综合性期刊分散在各学科的数据汇总一起进行评价，产生综合性核心期刊表，较好解决了综合性期刊问题。但边缘性、交叉性学科的优秀期刊进不了核心区的问题仍未能很好解决。《统计源期刊》选择入选期刊时给新兴学科和高技术学科一定考虑，并适当照顾期刊的地区性。因此诸如《中华男科学》、《颈腰痛杂志》、《循证医学》、《中华航海医学与高气压医学杂志》、《中华老年多器官疾病杂志》、《听力学及言语疾病杂志》等边缘性、交叉性学科期刊能入选统计源期刊。4 注意合理使用核心期刊与统计源期刊均采用定性与定量相结合的评价方法，对学术期刊评价比较客观公正，从而成为国内目前比较公认的期刊评价工具。但核心期刊与统计源期刊只是一种相对统计的概念，没有完全绝对的量化指标，其研究成果可以作为评价学术研究成果的参考工具，可以作为读者投稿的参考工具，但如果作为衡量论文水平的绝对标准来用，就可能发生谬误。从个体角度看，发表在核心期刊或统计源期刊上的论文未必每篇学术水平都高，而发表在非核心期刊、非统计源期刊上的文章未必每篇学术水平都低，应该根据评价项目具体情况请学科专家来评价论文本身学术价值。因此，使用两种期刊表时应避免因片面夸大其作用而带来的不良影响。

影响因子 这是一个国际上通行的期刊评价指标，是E加菲尔德于1972年提出的，是对文献或文献集合获得客观响应，反映其重要性的宏观度量。由于它是一个相对统计量，所以可公平地评价和处理各类期刊。通常影响因子越大，它的学术影响力和作用也越大。具体算法为： 影响因子=（该刊前两年发表论文在统计当年被引用的总次数） / （该刊前两年发表论文总数）。 即年指标 即年指标是一个表征期刊即时反应速率的指标，主要描述期刊当年发表的论文在当年被引用的情况。具体算法为：即年指标=某刊当年发表论文被引用的次数 / 该刊当年发表论文总数 总被引频次 指该期刊自创刊以来所登载的全部论文在统计当年被引用的总次数。这是一个非常客观实际的评价指标，可以显示该刊被使用和重视的程度，以及在科学交流中的作用和地位。 自引率 自引率是指某期刊全部被引次数中，被该刊本身引用次数所占的比例。具体算法是：自引率=被本刊引用的次数 / 期刊被引用的总次数 他引率 他引率是指某期刊全部被引次数中，被其他看引用次数所占的比例。具体算法是：他引率=被其他刊引用的次数 / 期刊被引用的总次数