responsible词汇精析
一、背景信息
近年来,关于“负责任的计量”(Responsible metrics)频频被科学计量学界提起,如《旧金山宣言》(San Francisco Declaration on Research Assessment)、《莱顿宣言》(Leiden Manifesto)和《潮汐报告》(Metric Tide report.),这些声明都提出了在研究评估中负责任地使用科学计量学的一些原则,并被广泛地讨论,启发制定了一些使用科学计量学的指导方针。我们应该注意区分不同评估环境的重要性,认识到没有一种方法可以适用于所有的情况,有助于提高科学计量学负责任的使用。
二、不同的评价环境
Ludo Waltman提出,按不同环境区分为微观研究评价与宏观研究评价。
1) 微观层面(Micro)的研究评价:
对个体研究人员和研究群体进行深入评价
2) 宏观层面(Macro)的研究评价:
对整个研究机构(大学)和国家的评价
之所以将不同的评估环境区分为以上两个层面,是因为科学计量学指标与专家评估相结合的观点在负责任的科学计量学争论中起着关键作用(莱顿宣言、潮汐报告均有涉及),而在微观与宏观层面上,科学计量指标和专家评估之间的关系有着根本的不同。
不同的原因很好理解,这一根本的不同是基于,专家是否能够直接参与微观/宏观层面的评估。
在微观层面,专家的同行评审是研究评估的推荐方法。专家有能力直接评估微观级别的研究单位(个体研究人员和研究小组)。科学计量指标可以对专家评审(同行评审)进行支持(补充证明),这些指标总结了关于研究单位绩效的可能有用的信息。使用科学计量指标来支持专家评估有时被称为知情同行评审(informed peer review)
在宏观层面上,专家无法对整个研究单位(如一个大学或一个国家)进行深入的评估。因为没有一个评估者(专家)能够对一个机构或者一个国家的所有研究活动进行全面的了解,更不用说进行深入的评估(这需要专业知识)。因此,在宏观层面,专家评价的价值在于结合不同的信息来提供宏观层面研究工作的全貌(big picture)。需要依据有关研究单位业绩的总和信息的指标,专家以指标来看世界。
三、不同评估环境带来的影响
1. 复杂 VS 简单
Sophistication vs. Simplicity
复杂与简单的紧张关系在科学计量学领域存在已久,一方面,科学家花了很多精力来设计越来越复杂的指标,而另一方面,科学家也认为,指标应该尽量简单透明。这种紧张关系在《莱顿宣言》中体现得淋漓尽致,宣言一方面强调:“normalized indicators are required” to “account for variation by field in publication and citation practices”,另一方面又建议"analytical processes should be kept “open, transparent and simple”,而微观层面与宏观层面研究评价的区分,为解决这一矛盾提供了指导。
a) 宏观层面:侧重于复杂
宏观层面,专家依赖于指标看世界,显然,简单的指标不足以支撑测度一个大学或者一个国家科研水平的效度,因此,应该对指标进行标准化等一系列复杂操作,使用一种更加复杂的影响指标。
b) 微观层面:侧重于简单
微观层面,指标起到的作用是在专家评审的基础上的支持与辅助作用,指标本身并没有提供多少资料,而是使专家指出可能有关的资料。
复杂性在微观层面的指标制定上会存在问题,因为高度复杂的指标往往会变成黑匣子,很难理解指标的内部运作,当某一个指标高得惊人时,专家需要理解如何解释这个异常值,简单的指标能够让专家一目了然,而高度复杂的指标会使专家也产生疑惑。因此,微观层面,简单性更加重要。
2. 专业 VS 公民
Professional vs. Citizen Scientometrics
专业科学计量与公民科学计量是一个比较新的概念,它对应的是微观层面的研究评估和宏观层面的研究评估。
a) 宏观层面:公民科学计量学
公民科学计量,顾名思义,通常指大众对于科研成果的评估,他们常常忽略了专业科学计量学界中的知识积累,借助现成的指标或者工具,如被引次数、期刊影响因子等。在宏观评价中,由于公民科学计量学的易获得性、易使用性、易解读性,评估者常常使用的是公民科学计量学,公民科学计量学也应参考专业科学计量学的理念和原则。