心理学研究中预注册的现状、挑战与建议.pdf
《心理学研究中预注册的现状、挑战与建议.pdf》由会员分享,可在线阅读,更多相关《心理学研究中预注册的现状、挑战与建议.pdf(13页珍藏版)》请在咨信网上搜索。
1、心理科学进展 2024,Vol.32,No.5,715727 2024 中国科学院心理研究所 Advances in Psychological Science https:/doi.org/10.3724/SP.J.1042.2024.00715 715 研究方法(Research Method)心理学研究中预注册的现状、挑战与建议 赵加伟1,2 夏 涛3 胡传鹏4(1北京师范大学认知神经科学与学习国家重点实验室,北京 100875)(2中国人民大学统计学院,北京 100872)(3香港大学心理学系,香港 999077)(4南京师范大学心理学院,南京 210024)摘 要 心理学研究者采用预
2、注册的新型研究实践以应对出版偏倚等问题,包括未经同行评审的预注册、经过同行评审的注册报告和注册重复报告。诸多主流国际期刊采纳了注册报告,预注册平台和模板也趋于成熟。但预注册和注册报告也存在争议,为检验其效果,研究者对预注册与注册报告进行了元研究,结果发现注册报告有助于解决出版偏倚和提升研究整体质量;而未经同行评审的预注册则达不到类似的效果。采纳预注册与注册报告,提高研究的可重复性、开放性与严谨性,需要研究人员、学术机构与出版机构的共同努力。关键词 预注册,注册报告,注册重复报告,可重复性,开放科学 分类号 B841 1 引言 可重复性(Reproducibility)是评估研究结果是 否科 学
3、 可 靠的 重要 标 准之 一(Open Science Collaboration,2015;Platt,1964;Schmidt,2009)。自 Ioannidis(2005)指出“大量已发表的研究可能是错的”之后,2011 年由于数据造假、经典实验重复失败等重大事件的广泛传播,可重复性逐渐成为 心 理 学 领 域 关 注 的 热 点 话 题(胡 传 鹏 等,2016)。此后大量的直接重复实验发现,一些重要的研究结论无法得到重复(Klein et al.,2014;Klein et al.,2018;Open Science Collaboration,2015)。针对可重复性危机,研究人
4、员从学术研究全周期(提出明确假设、研究设计、采集数据、分析数据、解释结果到文章发表)角度,对其成因进行了众多反思。可重复性危机可能的原因包括如下(可见图1):低统计功效(Low Statistical Power)(Button et al.,2013;Sedlmeier&Gigerenzer,1992)、p-Hacking(Simmons et al.,2011)、HARKing(Hypothesizing After the Results are Known)(Kerr,收稿日期:2023-09-04 通信作者:胡传鹏,E-mail: 1998)、出版偏倚(Publication Bia
5、s)(Fanelli,2010;Franco et al.,2014)、缺乏数据共享(Wicherts et al.,2011;Wicherts et al.,2006)和缺乏重复(Makel et al.,2012)。在以上诸多原因中,出版偏倚不仅与论文发表直接相关,而且通过当前的评估体系间接地影响到研究的全流程,因此备受研究者的关注。出版偏倚指的是在论文发表中,期刊编辑与审稿人均偏好阳性结果的倾向。为从发表端解决出版偏倚及其相关的问题,研究者建议在实验开始之前,将研究计划进行公开登记注册,后续实验和结果分析过程中严格地按照预注册内容实施。这一做法来源于医学中临床试验的注册,但又有不同,被称
6、为预注册(Pre-registration)。预注册不仅能够避免出版偏倚的问题,也能够在一定程度上避免和解决 p-Hacking、HARKing 和低统计功效等问题(Chambers,2019;Nosek&Lakens,2014;Nosek&Lindsay,2018;Soderberg et al.,2021;Wagenmakers&Dutilh,2016)。首先,预注册有助于减少出版偏倚。如前所述,阳性和显著的研究结果更容易被发表,而阴性或非显著的结果则往往被忽视(Franco et al.,2014),在心理学中尤其严重(Fanelli,2010)。出版 716 心 理 科 学 进 展 第
7、 32 卷 图 1 可疑的研究实践(Questionable Research Practices)(改编自:Munaf et al.,2017)偏倚对科学有多方面的负面影响:(1)由于大部分发表的研究是显著和阳性的,已发表论文所呈现的结果是对真实科研结果的不完整代表;(2)由于期刊和审稿人偏好阳性结果,研究者可能进行自我审查,很少将阴性结果整理成完整的文章,因而减少对阴性结果的探索和进一步挖掘(Franco et al.,2014),有错失重要科学发现的风险;(3)在当前“不发表就出局”的文化下,研究者可能会通过 p-Hacking,HARKing,甚至造假来让结果“变得”显著,进一步增加了
8、文献中的假阳性率。注册报告(Registered Reports,RRs,见后文中与预注册的区别)在获得结果前已经被原则上接受(In-principle Acceptance,IPA),只要研究项目按照既定计划进行,则该研究大概率被接收,避免了结果对是否发表的影响,从而有利于减少出版偏倚对科学研究过程的影响。其次,预注册可减少 p-Hacking 和 HARKing的可能性。如上所述,研究者可能为了得到阳性结果而对数据进行“塑形”,即 p-Hacking。如,研究者可能通过数据筛选、统计测试和多次比较等方法让结果“变得”显著(John et al.,2012;Simmons et al.,20
9、11)。HARKing 则是指在完成数据分析后,根据结果提出假设,并将其当作看到数据前的假设进行呈现(Kerr,1998),使其结果看起来是支持其研究假设的。在预注册中,研究者在数据收集和分析前已经公开其研究假设、数据采集和分析计划,从而降低上述两种可疑实践的概率。最后,预注册也可能会加强研究本身在方法上的严谨性(Chambers,2013)。由于预注册需要有完整的方案,因此会迫使研究者在收集数据前对研究问题、研究假设和预期进行严格的审视,研究者需要投入更多的时间和精力思考其方案,因此可能增强其方法的严谨性。例如,可重复性危机后,小样本量会导致统计功效不足的消极后果为主流学界所重视(如 But
10、ton et al.,2013),预注册中通常要说明样本量的合理性,这将有助于提高研究的统计功效。此外,注册报告中的透明化意味着研究者可能需要将实验材料、分析代码、原始数据等提交并准备好公开共享(Soderberg et al.,2021)。这意味着研究者要为公开数据做准备。为了避免其他研究者在公开的数据中找到问题而带来的声誉上的损失,研究者可能会更加严谨地检查数据,提高研究严谨性。总之,预注册带来的公开与透明也将推动研究严谨性的提升。除了以上这些优势,预注册也更加合乎科学研究的伦理要求。公开的预注册不仅确保了研究的合法合规、透明与可溯源,同时减少重复实验和避免不必要的人体实验,以充分尊重和保
11、护被试的相关权益(Gliklich et al.,2014)。因此,预注册实践受到了研究者的推荐,越来越多的学术期刊和组织开始鼓励预注册(Chambers,2013,2019;Hardwicke&Ioannidis,2018;Mellor et al.,2019;Nature Editorial,2023;Nosek&Lindsay,2018;Simmons et al.,2021)。但这一实践较为新颖,且与传统的研究实践有较大的区别,也引起不少研究者的质疑与反对(Pham&Oh,2021;Szollosi et al.,2020)。预注册自 2013 年起,已经有 10 年历史,积累了不少实
12、证数据,使得我们能够更客观评估这些新型实践带来的影响。有鉴于此,本文首先介绍了预注册的三种类型、预注册的步骤和注册报告的评审流程。同时回顾了预注册现状、争议、挑战及对其的实证评估,并在此基础上对预注册这种新形式进行展望。第 5 期 赵加伟 等:心理学研究中预注册的现状、挑战与建议 717 2 预注册 2.1 预注册类型 广义上预注册包括三种类型:狭义上的预注册、注册报告和注册重复报告(Registered Replication Reports,RRR),三者都与研究项目的注册过程有关(Lindsay et al.,2016),但它们在目的和时间上有所不同。狭义上的预注册,又称未经审核的预注册
13、(Unreviewed Pre-registration),即在收集数据之前的研究方案不被同行评审。在进行研究之前,作者尽可能详细地描述研究计划(包括研究问题、假设、方法及分析方法等),并将这些计划保存在带有时间戳、不可编辑的档案中。该档案可以在后续的投稿过程中与评审人、编辑和其他研究人员共享。注册报告,又称审核的预注册(Reviewed Pre-registration),即在收集数据之前,由同行评审根据研究问题和方法进行审查。注册报告是期刊的一种文章类型(Nature Editorial,2023),作者在收集数据之前向目标期刊提交详细的研究计划,由期刊组织对研究计划进行评审。如果研究问题
14、与方法通过了编辑与审稿人的评审,则期刊可以决定在原则上接受该研究。当研究者依照研究计划完成数据收集和分析与文章撰写后,期刊再次对完整稿件进行审稿,在是否遵循研究计划的基础上决定是否正式接受论文(见 2.3 注册报告的审稿流程)。截止目前,超过 300 种期刊采用注册报告出版的形式(见 www.cos.io/initiatives/registered-reports)。注册报告的一个最新发展是 2021 年出现的“注 册 报告 中 的 同 行 社 区(Peer Community In Registered Reports,PCI-RR)”。在这种新型的注册报告中,作者可以将研究计划提交给 P
15、CI-RR 这个社区进行评审,而不是某个特定的期刊。社区的推荐人(Recommender)将与传统期刊编辑一样,寻找审稿人并根据审稿人的意见决定是否推荐该研究方案。如果被推荐,那么作者可以继续进行数据收集,并撰写完整稿件。完成稿件撰写后,作者从认可 PCI-RR 推荐的期刊中选择合适的期刊进行发表,该期刊将不再对注册报告进行评审。PCI-RR 既保留了注册报告中的同行评审过程,也给了作者更大的自由度。此外,PCI-RR 根据作者是否有查看数据的情况,对注册报告进行了分级,使得对已有数据的再次分析也被纳入到注册报告的范围。因此 PCI-RR 也被称为注册报告 2.0(Feldman,2022)。
16、注册重复报告是一种特殊的注册报告,目的在于直接重复先前发表的一个或多个原始研究的结果,尤其是有重大影响的结果。与注册报告相同,重复注册报告方案在数据收集前需经过同行评审和接受。为了保证重复注册报告结果的稳定性,作者可以在研究方案原则上被期刊接受后,招募更多的团队共同进行重复研究,所有参与的团队均需遵循相同的注册计划,所有数据将整合后共同发表。当前,注册重复报告由心理科学展望(Perspectives on Psychological Science)期刊提出,是 ManyLabs 项目(Klein et al.,2014;Klein et al.,2018)和 心 理 科 学 加 速 器(Ps
17、ychological Science Accelerator,PSA)进行重复研究时主要形式(Jones et al.,2021)。总之,狭义上的预注册是指在数据收集开始前对研究进行注册的过程,而注册报告和注册重复报告则需要由特定期刊或平台对预注册方案进行评审并决定是否在原则上接受,是一种新型出版类型。注册报告通常需要公开预注册过程,而预注册却不一定要选定期刊或平台进行评审。预注册、注册报告和注册重复报告之间的关联与区别见图 2。2.2 预注册的内容与流程 对一项未来的研究进行预注册,作者需要将研究计划提交到相应的注册平台或机构。根据注册平台和研究类型的不同,在预注册的过程需要提供的信息也会
18、有所差异,随着预注册的成熟,已经形成了诸多关于预注册的模板。通常,各个预注册模版中包括基本的研究信息、设计方案、抽样计划、变量设置和分析计划等内容。下面以开放科学框架(Open Science Framework,OSF)在线平台预注册为例进行模版简要说明(Mellor et al.,2019),预注册模版大纲内容可见图 3A,详细模版说明与填写步骤图文介绍可见在线补充材料(www.osf.io/ju2sx)。718 心 理 科 学 进 展 第 32 卷 图 2 预注册、注册报告与注册重复报告之间的关联与区别(改编自:Chambers,2017)图 3 预注册模版和注册报告评审流程。(A)OS
19、F 平台预注册模版内容;(B)注册报告提交和评审流程(改编自:Chambers et al.,2014)第 5 期 赵加伟 等:心理学研究中预注册的现状、挑战与建议 719 研究信息部分包括标题、作者、研究概述和研究假设。设计方案部分需描述研究的类型、盲法(Blinding)及设计细节,这部分需界定研究类型:干预实验(包括随机对照实验)、观察性研究(包括调查、自然实验)、元分析或其它类型的研究。抽样计划部分需说明数据收集程序、样本数量及终止数据收集规则。变量设置部分需描述将在验证性分析计划中使用的所有变量(包括操作变量和测量变量)、变量水平及操纵方式。分析计划部分包括统计模型、推断标准、数据排
20、除、缺失数据及探索性分析。除以上内容,如果预注册中需要补充额外信息,比如参考文献、其它相关工作等,这些都可以描述在预注册中。其它预注册模版的描述和网址可见表 1,比如“预见”心理学预注册平台模版、定性研究的预注册模板、fMRI 研究的预注册模板等。表 1 预注册模版简介与网址 序号 名称 描述 网址 1 OSF 预注册 OSF 标准、全面及通用的预注册模版。www.osf.io/preprints/metaarxiv/epgjd 2 AsPredicted 预注册 AsPredicted 平台的预注册模版。www.osf.io/fnsb6 3“预见”心理学预注册 支持心理学中英文预注册,包含预
21、注册简洁模板、通用模板、质性研究模板和量化研究模板。 4 PRP-QUANT 预注册 美国心理学会(APA)、英国心理学会(BPS)和德国心理学会(DGPs)联合制定的心理学预注册定量模版。doi.org/10.23668/psycharchives.4584 5 定性预注册 注册定性研究的模版。www.osf.io/w4ac2 6 fMRI 预注册 fMRI 研究项目的预注册模版,并提供fMRI 预注册常见困难的指导建议。www.osf.io/e4wqj 7 EEG ERP 预注册 脑电研究项目的预注册模版,研究人员可以使用和/或调整模版内容,使其更具有适用性。www.osf.io/prep
22、rints/metaarxiv/4nvpt 8 fNIRS 预注册 fNIRS 研究项目的预注册模版,该指南重点关注 fNIRS 的具体要求,包括 CW设计项目、基于任务研究等。doi.org/10.1117/1.NPh.10.2.023515 9 社会心理学预注册 预注册一项研究报告,概述假设、方法和分析计划。www.osf.io/ce3hr 10 广义系统综述 预注册系统综述和元分析的研究项目。www.osf.io/preprints/metaarxiv/3nbea 11 二手数据预注册 使用现有数据集进行预注册研究项目。www.osf.io/jqxfz 12 认知模型(模型应用)使用认知
23、模型作为测量工具来测试有关认知模型参数假设的研究项目。 13 开放式注册 注册带有研究时间戳快照的项目摘要,如注册已完成项目的数据或材料。www.osf.io/haadc 14 OSF 标准数据收集前注册 是否已收集或查看数据以及其它相关评论,如预分析计划作为文档上传到 OSF。www.osf.io/9j6d7 15 重复方法:预注册 注册一项重复研究,包含一系列有关原始研究的问题。www.osf.io/4jd46 16 重复方法:已完成 完成重复研究后,注册重复研究并提出有关重复结果的问题。www.osf.io/9rp6j 17 注册报告协议预注册 在注册报告期刊“原则上接受”后进行注册协议
24、。www.osf.io/gm36s 18 开放式统计实验室和项目层 适合缺乏预注册研究经验的研究人员。www.osf.io/fjy79 720 心 理 科 学 进 展 第 32 卷 预注册方案在平台上完成提交后,即被保存为静态网页存档,并打上时间戳,作者无法对已经提交的内容进行修改。但根据平台的功能设置,研究者可能可以更新或者撤回预注册。此外,根据平台的功能设置和作者的选择,提交的预注册方案可以立即公开,也可以在保密一段时间后再自动公开。2.3 注册报告评审流程 如前所述,注册报告获知结果前进行同行评审,是假设演绎式科研的最佳范式(Chambers et al.,2014)。与传统研究不同,注
25、册报告出版格式将传 统 的 同 行 评 审 一 分 为 二(Chambers,2019;Chambers et al.,2014)。在第一阶段,作者需要提交初始稿件,稿件内容包括引言、方法、拟定的分析流程,以及任何让研究计划变得更具有可操作性的预实验数据(Pilot Data)和对预实验数据的分析。编辑和审稿人对提交的研究方案进行评审,主要检查其研究问题的科学或应用价值以及研究方法的适切性和严谨性。第一阶段审稿后可能被拒稿。如果审稿人和编辑认为研究计划能够被原则上接受或者修改后原则上接受,则作者根据评审意见对研究计划进行修改,直到被原则上 接 受(Chambers,2013,2019;Hard
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 心理学 研究 注册 现状 挑战 建议
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。