非侵入式异步脑机接口技术研究综述.pdf
《非侵入式异步脑机接口技术研究综述.pdf》由会员分享,可在线阅读,更多相关《非侵入式异步脑机接口技术研究综述.pdf(13页珍藏版)》请在咨信网上搜索。
1、文章编号:1003-0530(2023)08-1386-13第 39 卷 第 8 期2023 年8 月信号处理Journal of Signal ProcessingVol.39 No.8Aug.2023非侵入式异步脑机接口技术研究综述许敏鹏1,2 王有良1 梅杰2 王坤1 明东1,2(1.天津大学医学工程与转化医学研究院,天津 300072;2.天津大学精密仪器与光电子工程学院,天津 300072)摘 要:脑-机接口(brain-computer interface,BCI)为大脑提供了直接对外部设备进行控制的信息通路,根据是否存在同步触发信号可分为同步和异步系统。同步BCI设置了同步触发信
2、号,迫使人脑与计算机同步通信,要求用户严格按照计算机发出的同步信号进行操作,约束用户遵循固定的节奏输出指令,从而限制了用户控制外部设备的自主性,难以满足实际应用场景下的操控需求。相比于同步BCI系统,异步BCI无须设置同步触发信号,可实时对脑电信号进行处理及响应。异步BCI通过对用户的控制态和空闲态的检测,使用户可自主支配输出指令的时间。因此异步BCI系统完全由用户控制,在人机交互方面更加自然、实用。目前,异步BCI控制状态检测的实现途径主要可分为两类,即状态切换开关检测和自主控制状态检测。基于状态切换开关检测的异步BCI系统将状态切换开关与BCI系统连接,构成两步混合系统。用户在对设置的独立
3、开关进行选择时会产生相应的开关信号,异步BCI通过检测开关信号实现对系统的控制状态切换。基于自主控制状态检测的异步BCI系统没有独立的状态切换开关,而是直接对采集的脑电信号进行解码,分析是否存在控制信号对应的有效成分,以实现状态检测和切换。本文总结了两种异步BCI系统的基本原理和关键技术,探讨了其未来发展趋势,以期促进异步BCI技术的深入研究和开发应用。关键词:脑-机接口;异步;状态切换开关;自主控制状态检测中图分类号:R318;TH77 文献标识码:A DOI:10.16798/j.issn.1003-0530.2023.08.005引用格式:许敏鹏,王有良,梅杰,等.非侵入式异步脑机接口技
4、术研究综述 J.信号处理,2023,39(8):1386-1398.DOI:10.16798/j.issn.1003-0530.2023.08.005.Reference format:XU Minpeng,WANG Youliang,MEI Jie,et al.Review of non-invasive asynchronous brain-computer interface technology J.Journal of Signal Processing,2023,39(8):1386-1398.DOI:10.16798/j.issn.1003-0530.2023.08.005.Re
5、view of Non-invasive Asynchronous Brain-computer Interface TechnologyXU Minpeng1,2 WANG Youliang1 MEI Jie2 WANG Kun1 MING Dong1,2(1.Academy of Medical Engineering and Translational Medicine,Tianjin University,Tianjin 300072,China;2.School of Precision Instrument and Opto-electronics Engineering,Tian
6、jin University,Tianjin 300072,China)Abstract:The brain-computer interface provides the brain with an information pathway to directly control external devices,and can be divided into synchronous and asynchronous systems according to whether there is a synchronous trigger signal.Synchronous BCI sets a
7、 synchronous trigger signal to force the human brain to communicate synchronously with the computer,requiring the user to operate strictly in accordance with the synchronous signal sent by the computer,and constraining the user to follow a fixed rhythm output command,thus limiting the user s autonom
8、y in controlling external devices,which is difficult to meet Control requirements in practical application scenarios.Compared with the synchronous BCI system,the asynchronous BCI does not need to set a synchronous trigger signal,and can process and respond to EEG signals in real time.收稿日期:2023-02-22
9、;修回日期:2023-05-04基金项目:“科技创新2030 2022ZD0210200”;国家自然科学基金(62122059,61976152,62206198);济南市“新高校20条”引进创新团队项目(2021GXRC071)第 8 期许敏鹏 等:非侵入式异步脑机接口技术研究综述The asynchronous BCI enables the user to independently control the time for outputting instructions by detecting the user s control state and idle state.There
10、fore,the asynchronous BCI system is completely controlled by the user,which is more natural and practical in terms of human-computer interaction.At present,the implementation methods of asynchronous BCI control state detection can be mainly divided into two categories,namely state switching switch d
11、etection and autonomous control state detection.The asynchronous BCI system based on the detection of the state switching switch connects the state switching switch with the BCI system to form a two-step hybrid system.When the user selects the set independent switch,a corresponding switch signal wil
12、l be generated,and the asynchronous BCI realizes the switching of the control state of the system by detecting the switch signal.The asynchronous BCI system based on autonomous control state detection does not have an independent state switching switch,but directly decodes the collected EEG signals,
13、and analyzes whether there is an effective component corresponding to the control signal,so as to realize state detection and switching.This paper summarizes the basic principles and key technologies of two asynchronous BCI systems,and discusses their future development trends,in order to promote th
14、e in-depth research,development and application of asynchronous BCI technology.Key words:brain-computer interface;asynchronous;state switching-switch;autonomous control state detection1引言脑-机接口(brain-computer interface,BCI)在大脑与外界环境之间建立起一条直接的信息交流通路,能够替代、修复、改善、补充或增强中枢神经系统的正常输出1。根据获取大脑活动的方式,可分为侵入式BCI和非侵
15、入式BCI2。侵入式BCI需要通过手术,将电极直接置入颅内。非侵入式BCI则通过放置在头皮上的传感器测量大脑活动,其中脑电(electroencephalogram,EEG)是非侵入式BCI最常用的信号类型。基于EEG的非侵入式BCI因其便携性、安全性、高时间分辨率和合理的成本,已得到广泛应用3。根据是否存在同步触发信号,BCI系统可分为同步系统和异步系统4。同步BCI锁定了系统的时间进程,约束用户遵循固定的节奏输出指令。换言之,用户在系统发出提示信息(同步信号)后的固定窗长时间里,解码EEG信号输出控制指令,而之前的大脑活动通常不做分析。同步BCI迫使人脑与计算机同步通信,要求用户严格按照计
16、算机发出的同步信号进行操作,极大地限制了用户对外部设备控制的自主性,并且若整个任务持续时间过长,会增强用户的疲劳程度5。现有以探索高效脑电编解码方法为目标的BCI系统6-9大多是同步的,相关技术多停留在实验室阶段10。相比于同步BCI系统,异步BCI系统内不设置同步触发信号,实时对EEG信号进行处理及响应,其发送指令的时间可自主支配,允许用户在控制状态和空闲状态之间随时进行切换。异步BCI完全由用户控制,是BCI实用化的最佳形式,不仅可为用户与外界设备(例如脑控打字4,11-12、轮椅13-16、假肢17、机械臂18-19,移动机器人20-21等)之间提供进行友好交互的手段,还可有助于拓宽人机
17、交互带宽,实现多任务作业22。异步BCI的关键在于识别用户的控制态和空闲态,目前多采用状态切换开关和自主控制状态检测的方法实现对两种状态的区分。基于状态切换开关检测的异步BCI系统将状态切换开关与其他BCI系统连接,构成两步混合系统23。状态切换开关可以是基于 EEG 控制信号作为开关信号的脑开关(brain-switch)或者基于其他模态信息(例如眼电(electro-oculogram,EOG)、眼动、肌电(electromyography,EMG)作为开关信号的独立开关。用户在对设置的独立开关进行选择时会产生相应的开关信号,异步BCI通过检测开关信号实现对系统的控制状态切换。基于自主控制
18、状态检测的异步BCI系统没有独立的状态切换开关(即不设置开关信号),而是直接对采集的脑电进行解码,分析是否存在控制信号对应的有效成分24。如果存在,则认为当前信号为控制态,然后对有效成分进行解码并输出控制命令,否则认为该信号属于空闲态。即自主控制状态检测的异步BCI系统是直接根据空闲态和控制态的EEG信号在时-频-空域特征上的差异,通过特征提取和分类算法进行控制状态检测和控制命令识别,摆脱了状态切换开关,从而实现真正意义上的异步控制。自主控制状态检测可分为两种方式,一种为基于EEG的两步自主检测,即先通过EEG信号在控制态和空闲态上的特征差异实现状态检测,再1387信号处理第 39 卷对控制态
19、信号进行特征提取和分类;另一种为基于EEG的单步自主检测,即对EEG信号通过特征提取和分类直接实现控制状态检测以及控制信号识别。基于状态切换开关和基于自主控制状态检测的方法对异步BCI的实现及其应用具有重要的科学意义和研究价值。本文总结了两种异步BCI系统的基本原理和关键技术,探讨了其未来发展趋势,以期促进异步BCI技术的深入研究与开发应用。2基于状态切换开关检测的异步BCI系统在基于状态切换开关的异步BCI系统中,开关的作用是开启或关闭BCI系统,如图1所示。在异步BCI系统的第一步中,异步BCI系统的开关持续监视用户是否有从空闲状态切换至控制状态的意图。如果开关系统检测到用户的控制意图,则
20、将空闲态切换为控制态(即开启BCI系统),从而启动异步BCI系统的第二步。在第二步中,用户可以通过BCI系统产生控制命令以操作外部设备或从控制态返回到空闲态(即关闭BCI系统),如图2所示。2.1基于EEG脑开关检测的异步BCI系统基于EEG控制信号进行状态切换的脑开关主要包括:提取和分析大脑的运动动作意图信息进行控制状态切换的脑开关(即基于运动想象(motor imagery,MI)的脑开关);利用视觉刺激引起的大脑活动进行控制状态切换的脑开关(即基于P300的脑开关和基于稳态视觉诱发电位(steady state visual evoked potential,SSVEP)的脑开关);同时
21、使用两种或多种BCI范式(例如SSVEP和MI的组合)的混合式脑开关。脑开关本质是基于EEG控制信号的独立 BCI系统,而状态的检测与切换,则是对该独立BCI的控制信号进行检测的过程。(1)基于MI的脑开关MI是一种只需有运动意图而无须伴随任何实际身体活动的运动认知过程25。基于MI的BCI是最早应用于脑开关的BCI类别之一。在基于MI的相关范式中,与运动思维相关的EEG特征成分主要是运动相关皮质电位(movement-related cortical potential,MRCP),常用于运动认知信息的时域分析;事件相关去同步或同步(event-related desynchronizati
22、on/synchronization,ERD/ERS)成分,亦称感觉运动节律(sensorimotor rhythms,SMR)成分,通常表现为频带(813 Hz)和频带(1430 Hz)EEG信号能量的减弱或增强26。ERD/ERS和MRCP是实现MI脑开关的代表性特征,对运动意图的检测表现出了良好效果。Pfurtscheller等人则通过检测快速足部运动想象所产生的ERD和ERS成分,验证了足部运动意图产生的ERS可实现单通道脑开关27。Xu等人设计了一种实时检测MRCP特征的MI脑开关,以快速开启或关闭基于触觉电刺激分类的BCI系统28。Yu等人将基于MI的状态切换开关与基于P300-B
23、CI的字符拼写器连接,利用左右手的运动想象来选择开启或关闭P300-BCI的字符拼写功能,从而实现异步效果11。(2)基于P300的脑开关P300是当大脑受到小概率相关事件的刺激时,脑电信号中会出现一个潜伏期约为300 ms的正向波峰。基于P300的脑开关以此作为检测大脑活动的开关信号。例如,Lu等人以单一视觉刺激诱发的P300响应作为脑开关29。在他们的范式中,动物的面部图像被用作为视觉刺激,并顺序呈现给用户,用户则需默数目标刺激出现的次数。通过检测在图1基于状态切换开关的异步BCI系统框图Fig.1Block diagram of asynchronous BCI system based
24、 on state switch1388第 8 期许敏鹏 等:非侵入式异步脑机接口技术研究综述这个过程中的P300响应,实现对开关状态的控制。(3)基于SSVEP的脑开关SSVEP由周期性呈现的视觉刺激诱发,是用户脑电中将出现趋于稳定的且与刺激频率或其高次谐波一致的成分。基于SSVEP的脑开关使用SSVEP作为区分大脑活动的开关信号。SSVEP-BCI表现出较强的鲁棒性和更高的信息传输率(information transfer rate,ITR),从而提高了脑开关的稳定性并缩短了状态切换的响应时间。例如,Chen等人设置了基于高频 SSVEP 的状态切换界面,上面有 4 个标记为“open”
25、的闪烁刺激块,用户可通过注视其中任意一个刺激块切换控制状态18。(4)基于混合范式的脑开关基于EEG的混合式脑开关则结合了不同范式的特点,将两个相互独立或者相关性不大的特征联合,以获得更好的效果30。目前的一些研究提出了两种或多种范式相结合的混合式脑开关实现方法,并验证了其性能要优于基于单一范式的脑开关。Cao等人开发了一种基于MI和SSVEP的混合式脑开关,须同时检测到左右手的运动想象和选择特定的SSVEP信号才可启动或关闭轮椅控制15。Li等人利用 P300 和 SSVEP 混合编码范式实现的脑开关,需同时检测到诱发的 P300电位和 SSVEP 信号方可开启轮椅16。因此相比于单一范式脑
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 侵入 异步 接口 技术研究 综述
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。