基于范式识别的科学评价新趋向论析.pdf
《基于范式识别的科学评价新趋向论析.pdf》由会员分享,可在线阅读,更多相关《基于范式识别的科学评价新趋向论析.pdf(10页珍藏版)》请在咨信网上搜索。
1、2024 年第 1 期 总第 9 期新文科理论与实践No.1,2024Serial No.9Journal of New Humanities and Social Sciences基于范式识别的科学评价新趋向论析周文杰摘要:传统科学评价方法存在引文依赖、重论文数量而轻质量、时效性差等诸多局限,面对大数据和人工智能技术的蓬勃发展,科学评价亟待实现新的转向。由科学哲学家托马斯 库恩围绕科学革命的结构所发展的“范式”理论为科学评价的新转向提供了重要的理论依归。具体而言,在常规科学时期,科学评价者基于大数据技术而全景式揭示科学世界的结构,并通过识别研究者的位置而判断其学术贡献;在科学革命时期,通过定
2、位研究者在范式转换中所发挥的作用,则可对其学术贡献作出评判。科学评价走向范式识别兼具必要性和可能性,而新兴的共词分析等方法则为基于范式识别的科学评价落地提供了条件。展望未来,全景式、多模态、动态式、历时性、循证式的科学评价已渐成主流,科学评价将在引领科学事业的创新发展方面发挥越来越重要的作用。关键词:科学评价;范式识别;共词分析;大语言模型DOI:10.20066/ki.37-1535/G4.2024.01.09一、引 言科学评价的本质是要衡量研究者或具体研究成果在科学体系中所作出的实质性贡献。自20 世纪 60 年代尤金加菲尔德(Eugene Garfield)创立美国科技信息研究所(Ins
3、titute for Scientific Information,ISI)并发展了科学引文索引(Science Citation Index,SCI)和社会科学引文索引(Social Sciences Citation Index,SSCI)评价体系以来,引文分析一直是传统科学评价的主流指标。引文分析法通过统计研究论文被引用的次数来评估其影响力和重要性,其评价结果虽然对于识别重要研究者和研究成果具有一定的参考价值,但也存在诸多局限。随着大数据与人工智能技术的发展和大规模语言模型的兴起,科学评价正逐渐走出引文分析的桎梏,转向更全面和多维度的考量。新兴信息技术可以更全面地了解研究者和研究成果在科
4、学界的影响力,从而为科学评价的全面创新提供契机。特别值得注意的是,大数据和大规模语言模型使研究者之于“范式”形成与转换的实际贡献的识别成为可能。“范式”(Paradigm)是科学哲学家托马斯库恩(Thomas 作者简介:周文杰,中国人民大学信息资源管理学院教授(北京 100872)。基金项目:本文系国家自然科学基金项目“循证信息贫困研究”(72374170)的阶段性成果。基于范式识别的科学评价新趋向论析Kuhn)在其名著 科学革命的结构(The Structure of Scientific Revolutions)重点阐释的概念,指“科学共同体在特定时期所共享的普遍认知和共识,包括基本理论、
5、假设、方法、实验规范以及问题解决方式等”。由于范式的形成和转换是科学进步的重要标志,因此,研究者可以通过分析大规模科学文献数据集并运用先进的语言模型,更好地追踪和评估研究者在范式形成与转换中的作用,从而对研究者、研究机构或研究成果在科学领域的实际贡献作出客观评判。总之,以引文分析为主体的传统科学评价指标虽然在过去起到了重要的作用,但随着大数据和大规模语言模型的应用渐成主流,科学评价亟待转向和创新。本研究旨在对范式理论加以解读的基础上,解析传统科学评价指标的局限,结合笔者在前期针对共词分析展开的系列研究,深入阐释科学评价走向范式识别的可能性及其路径。二、科学革命的结构与范式理论托马斯库恩(Tho
6、mas Kuhn)提出,科学的发展并不是线性的逐渐的累积过程,而是经历了革命性的转变。在科学革命的过程中,存在两种不同的科学阶段,即“常规科学”阶段和“革命性科学”阶段。在常规科学阶段,科学家们工作在一个共同认同的理论框架或者范式下。此时的范式被认为是解决问题、解释现象和开展研究的共同准则。科学家通过正常科学的活动,进行问题解决、实验验证、数据收集,以进一步发展和完善既有的范式。然而,随着时间的推移,某些问题和现象可能会出现与当前范式不相兼容,从而依靠现有逻辑无法解释的情况。这些异常和矛盾会逐渐积累,最终导致科学界的危机。在这个时候,新的理论和范式可能会出现,并被一些先锋科学家所接受和推崇。当
7、新的范式逐渐取代原有的范式,科学革命就会发生,科学的结构从而将发生根本性的变化。显然,无论是在正常科学阶段还是科学革命阶段,识别研究者、研究机构和研究成果在整个科学图景中所处的位置,对于准确判断其科学贡献具有重要的启示意义。在常规科学时期,由于科学共同体达成了科学共识并具备统一的认知基础,因此,科学研究议题稳定且方法通用,科学领域整体上呈现出一个平衡有序的局面。此时,由于存在一个稳定的科学“全景图”,因此,科学评价者只要有效识别每个个体研究者、研究机构或研究成果在这幅全景图上的位置及其作用,即可判断其贡献。在科学革命时期,由于科学领域发生了根本性变革,旧的科学观念和范式被取代,新的科学范式得以
8、确立,因此,科学观念、理论和方法也将随之发生彻底转变。范式转换(Paradigm Shift)正是这样一个用来描述科学革命行将发生或已经发生的重要术语,意味着科学共识和科学共同体整体认知的根本性改变。在科学革命的萌芽阶段,随着范式转换的酝酿,一些先兆性的因素常常开始露出端倪。例如,新的理论、方法与工具开始涌现,旧的科学观念、理论和方法面临根本性挑战。而在科学革命发生的过程中,范式转换的特征体现得更加明显,新的理论、方法和工具开始以摧枯拉朽的态势占据科学研究的主流。无论是在科学革命的萌芽时期还是发生时期,科学评价者只要能捕捉到范式转换的蛛丝马迹,则完全可能循着这些线索,找到科学革命的策源者、驱动
9、者和集大成者。也就是说,通过定位研究者在科学革命中的实际位置,则可以确定其Thomas Samuel Kuhn,The Structure of Scientific Revolutions(Chicago:University of Chicago Press,1962).87新文科理论与实践 2024 年第 1 期研究工作之于科学发展的实际贡献,据此而使科学评价回归到本真。库恩的范式理论甫经问世,就得到了科学界的广泛关注。当然,学界对于库恩的理论也存在不同的评价。一些研究者认为,库恩的科学革命理论深刻地揭示了科学发展的非线性和不确定性特点,对科学哲学产生了深远的影响。然而,也有研究者对库恩
10、的理论提出了批评。其中一些批评意见主要集中在库恩对科学进步的解释和科学发展的趋势性问题上。一些学者认为,库恩过于强调科学革命的不可预测性和相对性,忽视了科学发展中的一些稳定和持续的趋势。虽然存在上述争论,但从科学评价的角度看,这些争议都不会对基于范式理论而展开的科学评价的合理性产生影响。简言之,以范式理论为基础,构造新的科学评价体系,既能够克服传统科学评价的局限,又具有非常紧迫而重要的时代意义。三、亟待转向的科学评价(一)传统科学评价方法的局限传统科学评价方法存在多方面的局限,从而使科学评价结果的准确性、客观性和科学性存疑。具体表现在:第一,传统科学评价方法主要依赖于引文分析,即通过统计论文被
11、引用的次数来衡量其影响力和重要性。然而,引文分析可能受到领域偏见的影响,某些研究领域可能引用率较高,而其他重要但较小众的领域则可能被忽视。第二,传统科学评价方法通常倾向于重视论文的数量,即发表的论文数量和被引用的次数。这可能会鼓励研究者追求数量而忽视质量,从而产生大量低质量的论文。第三,传统科学评价方法主要关注学术论文的发表和引用情况,忽视了其他类型的学术贡献,如开发开源软件、参与学术社区的服务和领导,以及对公众科学传播的贡献等。第四,评价指标往往在一段时间之后才能反映出研究的影响力和贡献,从而具有滞后性。科学研究可能需要数年甚至更长的时间来展现其实际价值,因此,在科学家的评价中,很难及时反映
12、他们的最新贡献。第五,传统科学评价方法往往忽视学术合作和交叉学科的贡献。事实上,科学家之间的合作能够带来创新和跨学科思维,但这些方面在传统评价中并未得到充分考虑。第六,在传统评价方法中,评委或决策者的主观因素可能会影响评价结果。不同的评委可能会根据自己的标准和偏好做出不同的评价,缺乏统一的标准和客观性。正是由于传统的科学评价存在上述局限,科学界急切呼唤新的、更加全面客观的评价方式和评价指标。面向研究范式识别的科学评价,正是对这种趋势的最新响应。(二)科学评价走向范式识别的必要性和可能性1.可能性。范式理论和全景式科学领域的整体呈现为科学评价带来了新的可能性,使得科学评价不必再局限于传统的引文分
13、析方法。范式理论强调科学共同体及与之关联的共同认知、约定俗成的学术规范及相对统一的方法与工具的重要性。在科学发展的过程中,范式作为一种基本的理论框架或模式,指导着科学家对研究方法和问题的选择。简言之,科学共同体是一群共享共同范式的科学家,他们共同构建知识,并通过对话和批判来推动科学的进步。范式理论强调科学知识是由特定的社会和历史背景塑造的,不同的范式和科学共同体会产生不同的科学知识。88基于范式识别的科学评价新趋向论析从本质上说,科学评价是一个识别出研究者、研究机构和具体研究成果在范式的形成和发展中发挥实际作用的过程。在此过程中,构建科学领域的全貌,全景式地将研究议题、研究者、研究机构相关联并
14、将其内在特征呈现出来是一个关键环节。全景式科学领域的整体呈现意味着将科学研究看作一个复杂的生态系统,这是一个综合的、多样化的整体,包含多个相互关联的领域和学科。通过对科学领域的全景式呈现,科学评价者的视野将不再局限于某个狭窄的领域,从而获取更加宽广、更加全面的认识。总之,范式理论和全景式科学领域的整体呈现为科学评价提供了新的选择和契机。在此前景下,科学评价将不再仅仅依赖于引文分析,而是更加关注科学的范式、科学共同体和全局性的视野。科学评价可以更多地考虑研究的质量、实际影响和创新性,而不仅仅是简单地计算引用次数。这种全面性的科学评价有助于推动科学的发展和进步,促进不同领域之间的交流与合作。具体而
15、言,走向范式识别的科学评价具有如下优势:更全面的贡献评估。基于范式识别的评价方法能够综合考虑研究者在学术界的地位、学术合作网络、研究领域的重要性等多个方面。这样的综合考虑能够提供更全面和多维度的贡献评估,不仅仅局限于引用次数或论文数量等传统指标。重视学术转变和创新。范式识别强调科学发展中的转变和创新。研究者在范式转换中的作用可能比仅仅在一个范式内的贡献更为重要。因此,通过范式识别,能够更好地评估研究者的开创性工作和对学科发展的推动作用。关注学术合作。基于范式识别的评价方法考虑学术合作的重要性,这有助于准确评估研究者与其他学者之间的合作网络,进一步了解其在学科中的地位和影响力。2.必然性。基于范
16、式识别而实现科学评价不仅具备上述可能性,也具有一定的必要性,具体表现在:第一,随着科学研究领域的交叉和融合,传统的评价方法可能无法准确评估这些新兴领域的贡献。而范式识别考虑了学科的交叉和综合性,有助于评估研究者在这些新领域中的作用。第二,传统评价方法在某些情况下可能会产生不当的激励机制,导致科学家追求短期产出或数量而忽视长期价值和创新。基于范式识别的评价方法能够更加关注科学的长远发展和重要的理论突破,为推动科学发展提供更合理的激励。第三,科学研究的发展并不是线性的,而是在不断变化和演进中的。范式的形成和转换是科学进步的必然过程。因此,基于范式识别的评价方法能够更好地反映科学发展的实际情况。如上
17、所述,基于范式理论而走向基于整体科学图景的研究者实际贡献识别,已渐成数智时代科学评价的主流。在诸多绘制科学图景的方法工具中,共词分析因直接应用自然语言处理的方法,且能够与大语言模型相对接,从而更具可操作性。四、基于共词分析研究范式识别(一)基于共词识别研究范式的原理基于共词识别研究范式是一种有前景的科学评价方法,它通过挖掘文献中的词语共现现象,从而识别学术领域内的范式,即学科中被广泛接受和采用的核心理论、方法和概念。这种方89新文科理论与实践 2024 年第 1 期法对于深入了解学科的结构、发展和研究趋势具有重要意义,能够帮助科学家和学术界更准确地评估研究者和研究成果的贡献。基于共词识别研究范
18、式的优势在于:其一,多维度视角。共词识别方法通过对文献中的共现关系进行分析,能够从多维度角度揭示学科的知识结构和学术发展趋势,追踪学科的演变过程。其二,揭示新领域和创新方向。这种方法能够发现学科内的交叉融合现象,识别出新兴领域和具有创新性的方向,帮助科学家把握学科发展的先机。其三,对学术合作的重视。共词识别方法不仅关注独立的概念和方法,还能分析学术合作中的共现关系,从而更全面地评价科学家在合作中的贡献。(二)共词分析的科学性评价既然共词分析是识别研究范式的一种重要方法,那么,科学评价者需要关注的一个基本问题是,共词分析本身是否具有科学性。对于共词分析科学性的评价,笔者在所主持的国家自然科学基金
19、项目中,通过信度和效度两个指标进行了深入研究。信度和效度是评价测量指标科学性的基本工具。信度(Reliability)指测量工具的稳定性和一致性,即在相同条件下,重复使用该工具是否能够得到相似的结果。效度(Validity)指测量工具是否能够真实、准确地衡量所要测量的特征或现象,评估测量工具是否有效地反映出所研究的概念,即工具是否在理论上和实际应用中都能够测量到所关注的内容。在前序研究中,笔者所在研究团队从研究热点识别、研究领域聚合和研究前沿预测三个方面,应用信效度检验的理论与方法,对共词分析的科学性进行了系统检验。就研究热点的识别而言,前序研究发现,以关键词为分析单元而识别的研究热点的表面效
20、度最低,而基于全文而识别的研究热点表面效度最高;以复合型指标(算法)识别的研究热点表面效度较高,而以单一型指标(算法)识别的研究热点的表面效度较低。关键词在研究热点识别中内容效度较低,存在一定效度风险;从综合指标来看,基于题名、全文和摘要而识别的研究热点具有相对较高的内容效度。基于摘要而识别的研究热点同时效度最高,而基于关键词所识别的研究热点同时效度相对较低;文本比词的同时效度高,而且文本的长度对于同时效度有着一定影响。就研究领域的聚合而言,前序研究发现,关键词在研究领域聚合中具有相对最高的表面效度,摘要和题名的效度则相对较低。同时,研究也发现,科学计量领域现有聚类指标和工具所聚合的研究领域缺
21、乏区分能力,且各种指标均存在着一定的效度风险。就研究前沿的预测而言,前序研究发现,基于全文而探测到的研究前沿表面效度最高,基于题名和关键词而探测到的研究前沿则表面效度很低。此外,基于摘要而探测到的研究前沿的表周文杰、高冲:共词分析识别研究热点的表面效度研究:基于自然语言处理,高校图书馆工作 2018 年第 2 期,第 311页。李承晋、高冲、周文杰:共词分析识别研究热点的内容效度研究:基于自然语言处理,图书与情报 2018年第 1期,第 814+27页。杨丽、张彤彤、周文杰:共词分析识别研究热点的效标关联效度研究:基于自然语言处理,图书与情报 2018年第 1期,第1519页。周文杰、张彤彤、
22、高冲:共词分析聚合研究领域的表面效度研究:基于自然语言处理,高校图书馆工作 2018年第 2期,第1216页。90基于范式识别的科学评价新趋向论析面效度具有不稳定性,因此摘要在研究前沿探测中的价值存疑。同时,针对共词分析在研究前沿预测中的效标关联效度,前序研究也发现:首先,无论基于标题、摘要、关键词还是全文等何种分析单元,基于爆发词进行研究前沿的预测都存在一定的效度风险;其次,相对而言,全文在研究前沿预测中的效度最高,而题名、摘要和关键词的预测效度则受到语料数量的影响;第三,如果以不同单项指标(算法)所识别的研究热点为效标,基于不同分析单元所探测的研究前沿存在着效度不一致的情况。综上所述,前序
23、研究已经从热点识别、领域聚合和前沿预测三方面对共词分析的科学性展开了系统评价。由于这三个方面在很大程度上反映了对整体科学图景加以深度分析的科学性和可能性,因此,前序研究的展开为基于共词分析展开研究范式识别进而实现科学评价目标奠定了基础。这些研究虽未能解决基于研究识别而展开科学评价的所有问题,但代表了一种更为全面的研究新趋向。五、基于范式的科学评价新趋向(一)基于范式特征揭示的全景式评价基于范式的科学评价是一种更为全面和多维度的科学评价方法,它通过揭示不同范式特征和全景式评价的方式,为科学评价的未来走向提供了许多有意义的展望和可能性。第一,基于范式特征揭示的全景式评价具有多样性和全局性视野。基于
24、范式的科学评价将不同科学范式和学科领域的研究纳入考量,实现了全局性视野。这种评价方式能够识别不同范式和学科的优势与特色,促进跨学科交流与合作。未来的科学评价将更加关注整体和多样性,鼓励跨学科研究,从而促进科学的整体进步。第二,基于范式特征揭示的全景式评价能够实现对知识生态系统的理解。范式的概念强调了科学知识是在特定社会和历史条件下形成的,科学研究是一个生态系统。未来的科学评价将更注重了解知识生态系统中不同范式和学科的相互关系,深入研究不同范式之间的交互作用和知识传播过程。第三,基于范式特征揭示的全景式评价更关注科学价值和社会影响。基于范式识别的科学评价能够更综合地考虑科学研究的价值和实际影响。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 范式 识别 科学 评价 趋向
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。