高校图书馆外文电子资源评价指标体系构建.pdf

中文科技期刊数据库（全文版）图书情报 142 高校图书馆外文电子资源评价指标体系构建 汪徽志 蒋 念 南京大学图书馆，江苏 南京 210023 摘要：摘要：学科建设高质量发展和国际化方向，推动文献资源需求增长，特别是外文电子资源需求的快速增长。预算经费不足与文献资源需求增长的矛盾日趋突出，图书馆文献资源采选业务面临困境。本文结合采用德尔菲法确定评价指标、层次分析法测定指标权重的研究方法，构建外文电子资源评价指标体系，客观评价外文电子资源在高校的实际产出效用,为图书馆文献资源采选提供辅助决策依据。关键词：关键词：文献资源建设；外文电子资源；评价指标体系；德尔菲法；层次分析法 中图分类号：中图分类号：G230 2022 年 2 月，教育部、财政部、国家发展改革委联合印发关于深入推进世界一流大学和一流学科建设的若干意见（教研20221 号），1正式启动新一轮“双一流”建设，战略部署“统筹推进”向“深入推进”新发展阶段迈进，推动学科建设国际化方向和高质量发展。高校师生对文献资源需求的快速增长，与图书馆文献资源建设预算经费不足之间的矛盾日趋突出。图书馆作为高校文献资源建设与保障核心单位，在新一轮“双一流”建设背景下，迎来新的机遇和挑战。文献资源需求持续增加，文献资源价格不断上涨，有限的预算经费难以满足日益增长的学科建设和教学科研需求。图书馆迫切需要构建一套科学全面的文献资源评价体系，对文献资源建设、保障和服务水平进行评估，深度揭示高校师生实际文献需求，客观评价文献资源在学科建设和教学科研产出中的实际效用，为图书馆文献资源采购决策提供辅助依据，全面提升图书馆文献资源保障与服务能力。客观评价文献资源的实际产出效用，对图书馆实现精细化采购管理和最大化资源绩效，具有极其重要意义。在文献调研和业务交流过程中，发现学界普遍是从文献资源利用和服务满意度的角度出发，对数据库下载量、引用量、载文量等进行比较评价，忽视了资源采购业务流程中有关预算经费、学科建设、服务延续性、文献保障结构等重要影响因素，缺少资源采购单位资源结构、经费现状、学科需求等方面的指标。有必要对现有评价指标体系进行重构，增加评价维度，优化指标权重，推动文献资源采购向精细化管理方向转型,将有限的文献资源建设经费发挥出最大使用效益。1 研究内容 总体思路是采用定量和定性相结合的方法，构建多维度文献资源评分模型，结合应用德尔菲法（Delphi）确定评价指标、层次分析法（AHP）测定指标权重的研究方法，构建外文电子资源评价指标体系，深度揭示教学科研工作中的实际和潜在文献资源需求，客观评价各类文献资源特别是外文电子资源的实际效用，为图书馆文献资源采选提供辅助决策依据。在有限的预算经费条件下，强化文献资源建设和保障能力，实施文献资源精准采购，最大限度满足全体师生文献资源需求,实现采购管理精细化和资源绩效最大化，有效提高图书馆核心服务水平。1.1 德尔菲法 德尔菲法采用匿名形式调查，每位专家独立面对问卷，避免了专家会议调查法容易受到权威观点、会场氛围、时间限制等因素影响的缺点。通过多轮问卷调查，每轮调查结果在新一轮调查中反馈给受邀专家，以便充分了解其他专家意见，使得预测结果逐轮趋向集中，确保最终结论的正确性、可靠性。德尔菲法将定性问题以统计学形式进行处理并定量化表述结果。2本文采用经典德尔菲法，包括四轮问卷调查，相对重要性指标的数据处理和表达采用的是满分频度。1.2 层次分析法 中文科技期刊数据库（全文版）图书情报 143 层次分析法采用定性和定量相结合的方法，将定性分析转化为定量分析，常用于处理复杂的多目标决策问题。根据德尔菲法确定的评价指标和递阶层次关系，同层级指标间两两比较，通过判断矩阵计算相对重要性，最终确定各个指标的权重。3在层次分析法实施过程中，采用了指数标度法构造判断矩阵，其良好的数学结构能有效满足和符合判断矩阵一致性检验。4 5 6 2 评价指标选取 2.1 筛选初始指标 纵观国内外业界学者研究，对电子资源评价做出大量探索，建立各种评价指标体系。但在确定评价指标的过程中，存在指标体系不够全面系统，指标可获取性比较差，难以进行量化处理，缺乏实证案例分析，无法在实践中进行验证和发展。科学选取评价指标，不仅要能从整体上描述特定外文电子资源，还要能从各个结构层面上做出比较和评价。外文电子资源评价的影响因素较多，各因素之间存在相互影响和相互依存的复杂关系，既符合外文电子资源发展策略，也能反映外文电子资源建设和保障的未来发展方向。通过大量文献调研和分析，对评价指标进行分类分级整理，筛选出相关度较高的初始评价指标，主要包括 5 个一级指标：电子资源数量、电子资源质量、电子资源成本、学科贡献度、其他指标。每个一级指标之下又包含若干二级指标，无法归类或难以归类的指标纳入到其他指标项目。2.2 实施问卷调查 德尔菲法是一种集体咨询，既可集思广益，又便于组织，可以通过专家参与程度来表征结论的可信程度。项目研究共邀请 20 位专家参加问卷调查，其中 18 位做出了有效应答，符合德尔菲法专家人数（18）、应答率（90%）和积极系数（90%）等对可靠性的要求。经典德尔菲法包括四轮问卷调查，第一轮调查表主要基于文献调研分析，将初始评价指标作为首轮问卷调查的主体内容，包括：问卷调查说明、评价指标名称和说明、评分标准和说明，以及为专家提供增删、修改指标意见及描述说明等栏目，指标间相对重要性评分标准采用了 5 分制（5-非常重要、4-比较重要、3-一般重要、2-比较不重要、1-不重要）。根据每轮问卷调查的评分及专家建议，形成下一轮问卷调查表主体，同时反馈上一轮问卷调查统计数据和分析结果，提供给专家进行评分参考。循环反馈实施第二、三、四轮问卷调查，专家意见逐渐集中并趋于一致。2.3 确定评价指标 通过四轮问卷调查，在每轮循环和反馈过程中，专家都能吸收到新信息，对问题有更充分、更全面、更深刻的认识。专家意见逐渐趋于稳定，结论的精确性实现螺旋上升，最终形成一致性调查结果。根据调查结果确定以下评价指标体系，见表 1。表 1 外文电子资源评价指标 一级指标 指标说明 二级指标 指标说明 电子资源数量 从电子资源内容数量角度评价数据库。数据库载文量 数据库载文的总量 数据库 JCR 刊量 数据库收录 JCR 期刊数量 数据库发文量 数据库中本机构发文数量 数据库引文量 数据库中本机构发文被引数量 数据库下载量 机构年度数据库下载篇次 电子资源质量 从电子资源内容质量角度评价数据库。Q1 百分率 数据库 JCR 分区 Q1 的期刊数量/数据库期刊总量 Q2 百分率 数据库 JCR 分区 Q2 是期刊数量/数据库期刊总量 现刊百分率 数据库现刊数量/数据库期刊总量 独有刊百分率 数据库独有刊数量/数据库期刊总量 非 OA 刊百分率 数据库非 OA 期刊数量/数据库期刊总量 电子资源成本 从电子资源用户使用成本角度评价数据库 单篇载文成本 数据库年度采购价格/JCR 期刊载文量 单篇发文成本 数据库年度采购价格/期刊保障发文量 单篇引用成本 数据库年度采购价格/期刊保障引文量 单篇下载成本 数据库年度采购价格/期刊年度下载量 单位 Citescore 值成本 数据库年度采购价格/期刊 Citescore 之和 学科贡献度 将机构所有学科按重要性大小评级分四大类，分别评价贡献程度 一类学科期刊比率 说明：根据高校学科范围和建设目标，将学科按重要性程度分类，从大到小依次为：一、二、三、四类学科。例如：国家重点学科为一类、省级重点为二类、市级重点为三类、其他学科为四类。二类学科期刊比率 三类学科期刊比率 四类学科期刊比率 中文科技期刊数据库（全文版）图书情报 144 电子资源数量是从电子资源内容数量角度来评价数据库。根据 Web of science 数据库统计，中国发表的 SCI 论文数量已经连续 10 年居于世界第二位，10年中国发文总数已经超过300万篇，电子资源的载文、发文、引用、下载等数量已成为文献资源采选业务的重要参考依据。但若仅从电子资源各项数量指标来进行评价，显然不够科学全面，有必要增加文献质量评价指标，如测定 Q1、Q2、独有刊、现刊、非 OA 等不同质量期刊收录比例，全面评价文献资源使用效益。面对不断增长的文献资源价格和有限的文献资源建设经费，资源成本已成为图书馆采选业务中无法忽视的重要考量指标，如何充分利用有限经费制定最大化满足本校师生需求的采选方案，通常可以考查数据库单篇载文量成本、单篇发文成本、单篇引文成本、单篇下载成本，以及单位 IF 值或单位 Citescore 值成本等指标。鉴于 CiteScore 值可以免费开放获取，7且CiteScore 引用来自 Scopus 的 2 万多种期刊数据，IF则是引用 WoS 的 1 万多种期刊数据，总体上 CiteScore比 IF 引用数据来源更广更全，项目研究过程中选择采用的是 CiteScore 值。学科贡献程度是在对高校学科进行分级的基础上，评估数据库对高校学科建设的贡献程度和重要性。不同学校应结合自身情况和特点，对学科进行分级评价，评估电子资源学科贡献程度。通常可以根据教育部学科评估结果，或从高校学科建设等角度，分别对重点学科、优势学科、培育学科等进行分级评估。3 指标权重测定 3.1 统计满分频率 指标的相对重要程度采用满分频率来表征。计算公式见式 1。=（1）其中为 j 指标的满分频率，为 j 指标满分个数；为参加评分专家总数。基于问卷调查统计结果，根据式 1 分别计算各级指标满分频率，见表 2。3.2 建立判断矩阵 采用“等差分级，等比赋值”法，定义满分频率的总量为 100，等分成 8 份，每个等分 12.5，为绝对比较标度，且有 a=1.316。对同级指标满分频率进行两两比较，构造指数标度判断矩阵。8计算公式见式 2。,=1.316,=0.8.（2）若有同级指标i和指标j的满分频率分别为x和y，则用为来表征指标 i 对 j 的相对重要程度，计算公式见式 3。=1.316(xy)/12.5 （3）基于表 2 评价指标的满分频率，分别进行两两比较，根据式 2-3 计算相对重要程度，并由此构建判断矩阵，见表 3-7。表 2 外文电子资源评价指标满分频率 一级指标（Bi）满分频率（Ki）二级指标（Bij）满分频率（Kij）电子资源数量（B1）0.1667 数据库载文量（B11）0.3889 数据库 JCR 刊量（B12）0.6667 数据库发文量（B13）0.2778 数据库引文量（B14）0.5000 数据库下载量（B15）0.6667 电子资源质量（B2）0.8889 Q1 百分率（B21）0.6667 Q2 百分率（B22)0.3889 现刊百分率（B23）0.4444 独有刊百分率（B24）0.5556 非 OA 刊百分率（B25）0.1667 电子资源成本（3）0.3889 单篇载文成本（B31）0.2778 单篇发文成本（B32）0.3333 单篇引用成本（B33）0.1667 单篇下载成本（B34）0.7222 单位 Citescore 值成本（B35）0.2222 学科贡献度（4）0.6667 一类学科期刊比率（B41）0.8889 二类学科期刊比率（B42）0.6111 三类学科期刊比率（B43）0.0000 四类学科期刊比率（B44）0.0000 中文科技期刊数据库（全文版）图书情报 145 表 3 外文电子资源评价一级指标判断矩阵 B1 B2 B3 B4 B1 1.0000 0.9843 0.9951 0.9891 B2 1.0160 1.0000 1.0110 1.0049 B3 1.0049 0.9891 1.0000 0.9939 B4 1.0110 0.9951 1.0061 1.0000 表 4 “资源数量（B1）”二级指标判断矩阵 B11 B12 B13 B14 B15 B11 1.0000 0.9939 1.0024 0.9976 0.9939 B12 1.0061 1.0000 1.0086 1.0037 1.0000 B13 0.9976 0.9915 1.0000 0.9951 0.9915 B14 1.0024 0.9963 1.0049 1.0000 0.9963 B15 1.0061 1.0000 1.0086 1.0037 1.0000 表 5 “资源质量（B2）”二级指标判断矩阵 B21 B22 B23 B24 B25 B21 1.0000 1.0061 1.0049 1.0024 1.0110 B22 0.9939 1.0000 0.9988 0.9963 1.0049 B23 0.9951 1.0012 1.0000 0.9976 1.0061 B24 0.9976 1.0037 1.0024 1.0000 1.0086 B25 0.9891 0.9951 0.9939 0.9915 1.0000 表 6 “资源成本（B3）”二级指标判断矩阵 B31 B32 B33 B34 B35 B31 1.0000 0.9988 1.0024 0.9903 1.0012 B32 1.0012 1.0000 1.0037 0.9915 1.0024 B33 0.9976 0.9963 1.0000 0.9879 0.9988 B34 1.0098 1.0086 1.0123 1.0000 1.0110 B35 0.9988 0.9976 1.0012 0.9891 1.0000 表 7 “学科贡献度（B4）”二级指标判断矩阵 B41 B42 B43 B44 B41 1.0000 1.0061 1.0197 1.0197 B42 0.9939 1.0000 1.0135 1.0135 B43 0.9807 0.9867 1.0000 1.0000 B44 0.9807 0.9867 1.0000 1.0000 3.3 计算权重方法 计算指标权重步骤如下：（1）根据对应判断矩阵，计算每行元素的乘积，见式 4。=1，(i,j=1,2,m)（4）（2）计算对应的方根（见式 5）。=，（m 为矩阵阶数）（5）（3）归一化处理向量=(1,2,.)，则有对应的特征向量=(1,2,.,)，即指标权重向量，其中见式 6。=1 （6）（5）一致性检验。先行计算判断矩阵的最大特征根（见式 7），则有判断矩阵的一致性指标为 CI（见式 8），判断矩阵随机一致性比率为 CR（见式 9）。当 CR0.1 时，即认为判断矩阵具有满意的一致性，说明权数分配是合理的。=()=1 （7）式 7 中，表示向量 TA 的第 i 个元素。=()1()2()=11121m21222m12 12 =11()（8）式 8 中，m 为判断矩阵的阶数。CR=CI/RI （9）式 9 中，RI 为判断矩阵的平均随机一致性指标值，见表 8。表 8 平均随机一致性指标值对照表（M 为阶数）m 1 2 3 4 5 RI 0.00 0.00 0.58 0.90 1.12 6 7 8 9 10 11 1.24 1.32 1.41 1.45 1.49 1.51 3.4 测定指标权重 根据式 4-9，计算一级指标特征向量，即指标权重，并进行一致性检验，见表 9。表 9 外文电子资源一级指标权重 一级指标（Bi）权重（Wi）电子资源数量（B1）0.2480 电子资源质量（B2）0.2520 电子资源成本（B3）0.2492 学科贡献度（B4）0.2508 最大特征根：=4；随机一致性比率:CR=0 同上所述，根据式 4-10 分别计算二级指标权重，并通过满意的一致性检验，见表 10-13。表 10 “电子资源数量（1）”二级指标权重 二级指标（B1i）权重（W1i）数据库载文量（B11）0.1995 数据库 JCR 刊量（B12）0.2007 数据库发文量（B13）0.1990 数据库引文量（B14）0.2000 数据库下载量（B15）0.2007 最大特征根：=5；随机一致性比率:CR=0 表 11 “电子资源质量（2）”二级指标权重 二级指标（B2i）权重（W2i）Q1 百分率（B21）0.2010 Q2 百分率（B22）0.1998 现刊百分率（B23）0.2000 独有刊百分率（B24）0.2005 非 OA 刊百分率（B25）0.1988 中文科技期刊数据库（全文版）图书情报 146 最大特征根：=5；随机一致性比率:CR=0 表 12 “电子资源成本（3）”二级指标权重 二级指标（B3i）权重（W3i）单篇载文成本（B31）0.1997 单篇发文成本（B32）0.1999 单篇引用成本（B33）0.1992 单篇下载成本（B34）0.2017 单位 Citescore 值成本（B35）0.1995 最大特征根：=5；随机一致性比率:CR=0 表 13 “学科贡献度（4）”二级指标权重 二级指标（B4i）权重（W4i）一类学科期刊比率（B41）0.2528 二类学科期刊比率（B42）0.2513 三类学科期刊比率（B43）0.2479 四类学科期刊比率（B44）0.2479 最大特征根：=4；随机一致性比率:CR=0 3 评价指标体系构建 根据表 10-13 所示，计算评价指标体系中相应的组合权重ij，计算公式见式 11。ij=ij (11)其中为一级指标的权重，ij为二级指标ij的层内权重。根据式 11 计算出所有组合权重，最终确定出外文电子资源评价指标体系，见表 14。表 14 外文电子资源评价指标体系 一级指标（Bi）一级权重（Wi）二级指标（Bij）层内权重（Wij）组合权重（Gij）总排序 电子资源数量（B1）0.2480 数据库载文量（B11）0.1995 0.0495 18 数据库 JCR 刊量（B12）0.2007 0.0498 11 数据库发文量（B13）0.1990 0.0494 19 数据库引文量（B14）0.2000 0.0496 17 数据库下载量（B15）0.2007 0.0498 11 电子资源质量（B2）0.2520 Q1 百分率（B21）0.2010 0.0506 5 Q2 百分率(B22)0.1998 0.0503 8 现刊百分率（B23）0.2000 0.0504 7 独有刊百分率（B24）0.2005 0.0505 6 非 OA 刊百分率（B25）0.1988 0.0501 10 电子资源成本（3）0.2492 单篇载文成本（B31）0.1997 0.0498 11 单篇发文成本（B32）0.1999 0.0498 11 单篇引用成本（B33）0.1992 0.0497 15 单篇下载成本（B34）0.2017 0.0503 8 单位 Citescore 值成本（B35）0.1995 0.0497 15 学科贡献度（4）0.2508 一类学科期刊比率（B41）0.2528 0.0634 1 二类学科期刊比率（B42）0.2513 0.0630 2 三类学科期刊比率（B43）0.2479 0.0622 3 四类学科期刊比率（B44）0.2479 0.0622 3 表 15 南京大学社会学外文电子资源数据统计 数据库名称 下载量 引用量 期刊量 Journal Storage 14423 155 49 SAGE Premier 332 28 45 EBSCO ASU+BSU 1214 6 28 Wiley Online Library 1936 28 20 Taylor&Francis Journal 1975 28 19 Periodicals Archive Online 297 6 16 ABI/INFORM Collection 223 1 13 Springer eJournals 1642 31 12 Elsevier ScienceDirect 5267 86 7 Oxford Journals Collection 1645 15 6 Cambridge Journals Online 225 1 4 中文科技期刊数据库（全文版）图书情报 147 外文电子资源评价指标体系的构建和应用，是对图书馆文献资源建设事业的理论创新和实践发展。外文电子资源作为高校最重要的一种学术文献资源，迫切需要有一套科学全面的评估方法，不仅要能从整体上和各个层面上比对优劣，还要能从横向和纵向进行比较，为图书馆资源采选提供辅助决策依据。4 实证案例分析 根据南京大学社会学外文期刊资源的发文量、引用量、下载量等统计分析数据。9按学科期刊量对学科相关外文电子资源进行排序，收录学科期刊数量最多的是 Journal Storage 过刊数据库，其后依次列出的是现刊数据库的 TOP10，见表 15。根据外文电子资源评价指标体系（表 14），选择这批数据库作为测评对象（表 15），进行实证分析的评分结果排名，见表 16。表 16 南京大学社会学外文电子资源评分结果排名 数据库名称 评分结果 排名 Elsevier ScienceDirect 0.1720 1 Cambridge Journals Online 0.0962 2 Wiley Online Library 0.0945 3 Springer eJournals 0.0942 4 Periodicals Archive Online 0.0929 5 Oxford Journals Collection 0.0920 6 EBSCO ASU+BSU 0.0904 7 Taylor&Francis Journal 0.0818 8 SAGE Premier 0.0681 9 ABI/INFORM Collection 0.0640 10 Journal Storage 0.0541 11 根据表 16 外文电子资源数据库评分结果来看，Elsevier ScienceDirect 排名最高，以绝对优势领先，符合预期；Journal Storage 收录期刊数量最高，但评分结果排名最低，与该数据库收录的是过刊资源有一定关系。5 结语 高校学科建设高质量发展和国际化方向，推动文献资源需求增长，特别是外文电子资源需求的快速增长。构建外文电子资源评价指标体系，客观评价电子资源实际产出效用，对实现采购管理精细化和资源绩效最大化，具有重要的理论和实践意义。通过实证案例进行测评分析，在实践中优化完善评价指标体系，为图书馆电子文献资源采选提供辅助决策依据，更好地契合学校学科建设顶层规划，有效提升文献资源保障水平，推进文献资源建设事业的高质量发展。参考文献 1中华人民共和国教育部.教育部 财政部 国家发展改革委关于深入推进世界一流大学和一流学科建设的若干意见EB/OL.2023-08-11.http:/ 2朱庆华.信息分析:基础 方法及应用M.北京:科学出版社,2004:74-76.3朱庆华.信息分析:基础 方法及应用M.北京:科学出版社,2004:206-207.4吕跃进,张维.指数标度在AHP标度系统中的重要作用J.系统工程学报,2003,18(5):452-456.5吕跃进,张维,曾雪兰.指数标度与 1-9 标度互不相容 及 其 比 较 研 究 J.工 程 数 学 学 报,2003,20(8):77-81.6吕跃进.层次分析法标度系统评价研究C.见:决策科学理论与方法.北京:海洋出版社,2001.7Scopus.Improved Citescore EB/OL.2023-08-11.https:/ 8吕跃进.指数标度判断矩阵的一致性检验方法J.统计与决策,2006(18):31-32.9陈露,汪徽志.“双一流”背景下高校图书馆外文文献资源建设研究以南京大学社会学学科建设为例J.高校图书馆工作,2021,41(06):25-30+54.基金项目：教育部产学合作协同育人基金项目“双一流 背景下高校外文文献资源建设与保障”（项目编号：220605469130247）。作者简介：作者简介：汪徽志（1971），男，汉族，硕士，研究方向：文献资源建设。