公共政策评估中的随机控制实验:实施困境与突破策略.pdf
《公共政策评估中的随机控制实验:实施困境与突破策略.pdf》由会员分享,可在线阅读,更多相关《公共政策评估中的随机控制实验:实施困境与突破策略.pdf(9页珍藏版)》请在咨信网上搜索。
1、云南行政学院学报2024 年第 2 期24政治理论公共政策评估中的随机控制实验:实施困境与突破策略*杨代福,穆冬梅摘要:采用随机控制实验方法来进行政策评估,已成为公共政策或项目评估的“黄金标准”。但是,随机控制实验方法在中国政策评估过程中还运用较少,评估者缺乏对其实施困境与突破策略的深入认识。本研究在深入分析随机控制实验方法及其适用范围的基础上,对随机控制实验的实施困境与突破策略进行了系统的考察与总结。研究发现,采用随机控制实验开展政策评估主要面临着实验方法本身的复杂性、实验方法引发的公共价值分歧以及随机控制实验融入中国政策场域的挑战三个层面的困境。关键词:公共政策;随机影响评估;政策评估;项
2、目评估;随机控制实验中图分类号:D082文献标识码:A文章编号:1671-0681(2024)02-024-009作者简介:杨代福,重庆大学公共管理学院教授、博士生导师、博士,研究方向:公共政策分析与循证治理;穆冬梅,重庆大学公共管理学院博士研究生,研究方向为公共政策分析。一、引言公共政策评估是公共政策制定和执行过程中的重要环节。党的十八大以来,公共政策评估逐渐受到各级政府的高度重视。2015 年关于加强中国特色新型智库建设的意见中明确提出,要建立健全政策评估制度,党的十九届五中全会审议通过的关于制定国民经济和社会发展第十四个五年规划和二三五年远景目标的建议 再次强调,要健全重大政策事前评估和
3、事后评价制度。可见,强化政策评估,发挥评估反馈对政策研究与政策制定的作用,将成为推动我国重大政策、改革落地,促进党和政府科学决策、民主决策的重要内容。科学的评估方法对于政策评估的开展具有重要价值。近年来,相较于双重差分、断点回归、倾向得分匹配等“准实验”评估方法,随机控制实验方法逐渐受到推崇,该方法具有使政策干预在实验组与控制组之间随机分配的优势b。但是,相较于西方的研究,中国学者采用随机控制实验方法开展政策评估目前还处于起步阶段。有研究指出,我国公共政策评估中大部分随机控制实验研究仅是对潜在的、可能执行的政策干预进行探索,研究领域集中在农业、健康、教育等民生收稿日期:2023-07-18*基
4、金项目:国家社科后期资助项目“西方政策评估理论与方法研究”(20FGLB043);重庆市教委人文社科重点基地项目“基于混合方法的双减政策评估与作用机制研究”(22SKJD003);重庆市社科规划项目“基于COVID-19 全球大流行的公共危机循证政策制定研究”(2020YBGL94)。b 张林秀.随机干预试验影响评估的前沿方法J.地理科学进展,2013(6):843-851.25杨代福,穆冬梅:公共政策评估中的随机控制实验:实施困境与突破策略领域,地域上则主要集中在我国欠发达地区与农村a。同时,针对许多政策/项目的随机影响评估大多停留在干预期,不少研究是基于基线调查的结果,真正完整的随机影响评
5、估研究报告屈指可数b。综观随机控制实验在中国政策评估中应用不足情况,其主要原因在于国内学者缺乏对随机控制实验方法的认识以及随机影响评估操作面临的障碍和应对策略的关注。因此,深刻地认识随机控制实验,系统地厘清采用随机控制实验方法开展政策评估面临的困境和应对策略,对于实践随机影响评估,特别是推进其在中国的进一步开展具有重要意义。从国内有关采用随机控制实验开展政策评估的研究看,学者们主要关注随机控制实验的理论、方法及其在公共管理领域的应用,而对采用随机控制实验方法开展政策评估所面临的困境和突破策略关注较少。其中,曹堂哲介绍了随机对照方法的基本理论、具体的实验设计和操作步骤c,张少华和杨少瑞、李帆、马
6、亮等对随机对照实验方法的最新国际进展进行了梳理d,张书维、李纾、李小倩等对国内公共管理实验研究开展的规律和特点进行了分析与归纳e。少数研究针对随机控制实验在中国政策评估中会遭遇哪些困境进行了分析。从宏观层面看,中国采用随机控制实验方法进行政策评估主要面临政府支持力度薄弱,研究者与政府、非政府组织的合作不紧密,时间跨度较长等问题f。从微观层面看,采用随机控制实验在中国开展政策评估主要面临干预设计如何合理与精准,数据分析如何更深入,内部有效性如何克服,外部有效性如何提高等困境g。尽管现有的研究基于中国政策评估实践,从宏观和微观层面指出了采用随机控制实验开展政策评估面临的诸多困境,但这些结论过于零散
7、,缺少系统的分析。鉴于此,本文试图结合随机影响评估理论,基于已有研究和评估实践,全面系统地分析采用随机对照实验开展政策评估面临的困境与突破策略,在此基础上讨论对中国推进随机影响评估的启示。二、随机控制实验方法及其运用要求随机控制实验方法最早出现在医疗领域,该方法起初被用于识别医疗卫生服务中的某种疗法或药物的效果。近年来,随机控制实验在农业经济、教育等社会科学领域得到越来越多的应用,如农业推广服务、公共健康和教育项目等。随着贫困行动实验室(J-PAL)对随机控制实验的探索和诺贝尔经济学奖对随机控制实验成果的肯定,随机控制实验方法逐渐受到推崇。与“准实验”设计相比,由于随机控制实验方法最核心的优势
8、在于具有实验设计的随机性,a 陈叶烽,刘莹,杨雯渊.公共政策评估与随机控制实验基于“规模化”视角的经验启示与中国实践J.管理世界,2023(3):172-196.b 史耀疆等.教育精准扶贫中随机干预实验的中国实践与经验 J.华中师范大学学报(教育科学版),2020(8):1-66.c 马亮.公共管理实验研究何以可能:一项方法学回顾J.甘肃行政学院学报,2015(4):13-23.d 李帆,马亮,李绍平.公共政策评估的循证进路实验设计与因果推论J.国家行政学院学报,2018(5):132-138.e 张书维,李纾.行为公共管理学探新:内容、方法与趋势J.公共行政评论,2018(1):7-36.f
9、 陈叶烽,刘莹,杨雯渊.公共政策评估与随机控制实验基于“规模化”视角的经验启示与中国实践J.管理世界,2023(3):172-196.g 史耀疆等.教育精准扶贫中随机干预实验的中国实践与经验J.华中师范大学学报(教育科学版),2020(8):1-66.26杨代福,穆冬梅:公共政策评估中的随机控制实验:实施困境与突破策略能够规避“选择误差”。因此,其被认为是政策/项目影响评估的“黄金准则”。尽管都遵循“反事实”的实验逻辑,“准实验”方法在评估政策影响的过程中,将未接受政策干预的控制组视为接受政策干预实验组的“反事实”,在实施过程中还会经过一系列的检验来确保实验组和控制组的一致性。但依然存在由不可
10、观测变量造成的“选择偏误”的问题,这是影响评估结果的准确性最关键的因素。相比之下,随机控制实验实现了政策干预在实验组与控制组之间的随机分配,例如评估在家工作对生产力和工作生活平衡的影响时,如果采用在家工作与不在家工作的人进行比较,就可能会出现选择误差,因为比较的往往不是同一类型的人。如果在家工作是自愿的而非随机分配的,那么主动在家工作的人的工作效率和生活工作平衡能力可能高于不在家工作的人,无论他们在家工作与否,其获得工作效率的可能性都会高于不愿意在家工作的人。这样不对称的对比结果就不能反映在家工作的真实效果。只有将在家工作的机会随机分配给一组人,再将其与随机分配且特性相似的另一组没有在家工作的
11、人比较,得到的比较结果才能够反映真实的在家工作的影响效果。因此,相对于“准实验”评估方法,随机分配使得干预组和控制组在干预前没有系统差异。这能够将两个组在政策/项目实施之后的差异归因于干预,而不是其他不可观测因素,从而能够准确捕捉政策/项目“净”影响效应。尽管随机控制实验方法在政策评估中具有明显优势,但并不是所有政策/项目的影响评估都适合采用随机控制实验来实现。首先,如果政策/项目涉及政治、民族、伦理道德等方面的问题,这些项目往往不适合采用随机控制实验来进行评估。因为随机控制实验要对一部分人实施政策干预,这会引发更大的政治、民族和伦理问题。另外,随机控制实验的实施也会面临中途破产的风险。其次,
12、随机控制实验不善于评估宏观经济政策,不善于捕捉一般均衡效应。实验方法的比较优势在于它可以回答关于因果影响的具体问题。为了更好地回答这些问题,我们需要许多单元来随机化。但是,如果我们要评估的政策只能在国家一级出台,而且如果该政策的实施对全国所有人都是立即的,那么几乎不可能进行随机评估。因为这种政策效应是在整个国家层面上发生的,没有控制组。三、政策评估中随机控制实验的实施困境与突破策略作为一种成熟的研究方法,随机控制实验在广泛应用中形成了一套科学的研究体系。尽管如此,由于随机控制实验方法本身的复杂性、实验方法引发的公共价值分歧以及随机控制实验融入中国政策场域的挑战等原因,政策评估中的随机控制实验的
13、实施存在诸多困境。(一)随机控制实验实施的复杂性随机控制实验方法是研究者借助实践中的人为干预,将偶然的、次要的因素分离,从而推断出确定的因果作用路径的研究方法a。因此,一方面,随机控制实验的实施需要进行人为干预,通过设置区别于自然状态下的环境和条件,捕捉实验对象基于实验干预所呈现的一些特征,从而识别干预与结果之间的净效应,推断出确定的规律和结论。另一方面,随机控制实验是包含了实验对象的随机分配、前测、引入干预、后测等一系列的操作性环节的因果作用路径。通过随机分配建立“同质”的实验组和控制组,并对两组对象实施“前测”;实施政策/项目干预;进行“后a 刘军强,胡国鹏,李振.试点与实验:社会实验法及
14、其对试点机制的启示J.政治学研究,2018(4):103-116、128.27杨代福,穆冬梅:公共政策评估中的随机控制实验:实施困境与突破策略测”。最后,通过比较实验组和控制组前后测的差异,得出实验结果。因此,相较于其他研究方法,随机控制实验的实施相对复杂。随机控制实验的复杂性为其顺利实施带来了诸多困境。一是随机控制实验需要精准的干预设计和合理的实验设计。随机控制实验不像其他研究方法一样,研究者多以旁观者的身份进行监测。它要求研究者不仅要观测,还要设计项目、参与到项目实施过程中,捕捉人为设计的干预效果。二是随机控制实验对于项目过程的控制要求也更高。随机控制实验内部效度容易受到诸多外界因素的影响
15、,如遵从、损耗、溢出效应等,评估者需要对实验过程进行严密控制,以降低外部因素导致的实验内部效度不高的问题。三是随机控制实验的实施往往涉及资源的整合与人员的分配问题,需要关注实验过程中的关系处理。1.干预设计精准,实验设计合理。(1)明确项目/政策从投入到结果的因果链。精准的干预设计关系到随机控制实验的成败,评估者需要特别予以重视。随机控制实验的实施逻辑遵循将政策干预随机地给予政策目标群体,然后通过一定的程序观察政策干预带来的净效应。因此,干预设计中最重要的一环是明确项目/政策从投入到结果的因果链,即评估者需要搞清楚政策干预与政策结果之间的影响机制。例如,在针对初中生的事先资助承诺干预对贫困学生
16、高中入学率的影响评估中,评估遵循“事先资助承诺提高贫困学生高中入学率”的影响机制,但是研究结果表明,在中国农村,事先资助承诺既不能改善学生的学习成绩,也没有显著提高他们的升学率。可见,这一因果链条的识别并没有呈现预期的设想,这对随机影响评估的正确进行是一个比较大的威胁。一个好的干预设计,不仅能够帮助评估者厘清政策/项目与潜在结果的因果关系,而且能够帮助评估者准确评估项目的影响效果。因此,在项目设计时,评估者需要基于相关的理论,理清项目的因果链,明确政策干预与结果之间的影响机制。具体操作中需要搞清楚每项干预的投入、活动、产出、短期结果、长期结果分别是什么,干预与结果之间是如何发生作用的。(2)关
17、注随机单位的确定与随机化的实施。如上,随机化是随机控制实验方法区别于其他研究方法的关键,随机化的过程是随机控制实验中最重要的部分。如何确定随机单位是随机化过程中要优先考虑的问题。这关系到随机化能否顺利开展,对后续项目的实施和干预结果的呈现也会产生影响。那么如何确定随机单位呢?评估者确定随机单位需要综合考虑实验对象本身以及政策干预过程中的损耗、部分依从、溢出效应以及统计效力、可行性等问题a。随机单位主要包括在个体和在群体两种类型。随机控制实验应尽可能在个体层面进行随机化,考虑到随机评估过程中的溢出效应、部分依从等问题,评估者还需要根据现实的情况变化及时调整或者改变随机单位。另外,随机化的实施过程
18、中,随机化机会的把握和随机化方法的选择也是需要评估者重点关注的问题,随机化机会的把握对于我们捕捉项目效果具有重要意义。(3)合理的实验组与控制组设计。实验组与控制组设计也是实验过程中重要的一环,好的实验组与控制组设计对于评估者捕捉实验结果具有重要意义。合理的实验组与控制组设计需主要考虑实验设计类型和实验组与控制组的样本量的分配比重问题。那么,评估者选择何种实验设计类型呢?随机影响评估实验设计主要有前测、后测控制组设计、后测控制组设计、所罗门三组设计、所罗门四组设计四种主要的实验设计类型。评估者选择何种实验设计类型不仅取决于该种实验类型本身的特征,还需要根据实验目标、结果变量的个数和内容,同时综
19、合考虑项目进展的情况,数据的类型、充足性、可得性等因素来确定评估中需要使用的实验a Rachel Glennerster and Kudzai Takavarasha.Running Randomized Evaluationsa practical guideM.Princeton University Press,2013:112.28杨代福,穆冬梅:公共政策评估中的随机控制实验:实施困境与突破策略设计类型。例如,米勒等在青海和宁夏进行的贫困学生贫血防治干预实验,评估者欲探究什么样的干预政策能够降低学生贫血。实验过程中评估者设置了三个实验组,单独针对校长的知识干预、学生的补贴、学生的现金奖
20、励和校长的现金奖励。2.政策/项目执行的过程控制须严密。随机实验中的过程控制主要用来增强评估的内部效度,过程控制主要针对部分依从问题和损耗问题两大实施困境。实验中的被试对象是能动的个体,尽管被试对象被随机分配到实验组或控制组,但会出现未完全遵守分配的情况。其主要表现在实验组的个体没有得到实验干预、完成干预,或者拒绝被干预,控制组的个体受到了干预,项目执行人员离开分配或干预程序等几种情况。部分依从缩小了实验组和控制组之间实际干预率的差距,对随机影响评估的内部有效性形成威胁,影响到项目净效果的估计。评估者应如何限制部分依从呢?一是评估者应在方案设计阶段对部分依从问题有充分考量和规避设计,如评估者在
21、方案设计阶段要努力使项目更容易被人们接受,并鼓励更多人参与该项目。二是通过对项目执行人员的管理来降低部分依从问题。如向执行人员展示项目的成功对他们或最终对他们服务的人有真正的价值,树立其项目信心,并采取措施降低其工作负担。三是评估者可以通过调整随机化水平来解决部分依从问题。例如,可以在村庄层面而不是在个体层面进行随机化,通过调整随机化的水平,确保项目人员不会混淆实验组和控制组。损耗的发生是由于随机影响评估往往持续很长时间,导致人们退出了评估;或者由于涉及个体隐私和一些其他问题,实验对象拒绝参与或者拒绝回答一些问题,或者在最终的调查中调查员找不到实验对象,导致数据的缺失,形成损耗。损耗不仅会降低
22、实验组和控制组的可比性,还可能导致一个有效的项目在统计学上没有显著差异。那么如何解决损耗的问题呢?一是在干预设计中要考虑到将来损耗的发生,并且努力设计被试者持续参与项目的机制,保证项目在任何时间都可以进行。二是通过改变随机化水平来减少损耗。例如,研究人员在社区一级的随机分配能保证住在一起的人受到的待遇是一样的,这有助于减少损耗。三是改进数据收集方案。例如通过改善数据搜集工具、合理化数据搜集程序和规范搜集管理来保证数据搜集的效率,继而来降低损耗;通过持续不断地跟踪参与者来减少损耗;通过缩短调查间隔或者给予激励,来降低流失率等。另外,大多数损耗是由于人们的移动或发现调查太长和繁重而无法完成造成的。
23、因此,在进行社会实验时想要跟踪足够多的人员、在足够长的时间内检测与政策相关的影响,关键在于从一开始就要确保样本足够大。溢出效应是指控制实验的干预措施对干预对象的相邻单元产生的影响。当干预措施影响的相邻单元不是实验对象而是更大范围的人群时,就会产生外部有效性问题。具体到中国政策场域,就会涉及相互依存的社会关系、便捷高效的通信条件、错综复杂的社会网络。基于社会状况改善对某一群体实施的政策干预,很难完全隔绝其溢出影响。评估者应当如何应对溢出效应呢?一是准确识别潜在的溢出效应。例如,在方案设计阶段评估者需要搞清楚可能溢出什么、谁溢出、如何溢出、溢出流向谁,溢出效应如何发挥作用,通过什么途径发挥作用,可
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 公共政策 评估 中的 随机 控制 实验 实施 困境 突破 策略
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。