基于机器学习的单脉冲搜索候选体识别对FAST观测CRAFTS数据的应用研究.pdf

第 41 卷第 3 期天文学进展Vol.41,No.32023 年 9 月PROGRESS IN ASTRONOMYSept.,2023doi:10.3969/j.issn.1000-8349.2023.03.09基基基于于于机机机器器器学学学习习习的的的单单单脉脉脉冲冲冲搜搜搜索索索候候候选选选体体体识识识别别别对对对FAST 观观观测测测 CRAFTS 数数数据据据的的的应应应用用用研研研究究究张 彬1,2,3,4，游善平1,3,4，谢晓尧1,3,4，于徐红1,3,4，梁 楠1,3,4(1.贵州师范大学 贵州省信息与计算科学重点实验室/网络空间安全学院，贵阳 550001；2.贵州师范大学 数学科学学院，贵阳 550001；3.中国科学院-贵州师范大学 FAST 早期科学数据中心，贵阳 550001；4.中国天眼联合研究中心贵州师范大学分中心，贵阳 550001)摘要：单脉冲搜索作为脉冲星探测的有力工具，在探测旋转射电暂现源以及快速射电暴中扮演着重要角色。为了从海量的射电巡天数据中快速筛选出最有价值的单脉冲搜索候选体，候选体识别已经从早期启发式阈值判断发展到基于机器学习自动识别。对于 FAST 观测，研究了基于机器学习的单脉冲搜索候选体识别应用到 CRAFTS(the commensal radio astronomy FASTsurvey)超宽带脉冲星数据的性能表现。在评估过程中，使用单脉冲事件组识别(SPEGID)和单脉冲搜索器(SPS)两类自动识别方法，通过 7 种不同机器学习分类器对 CRAFTS 基准数据集产生的单脉冲搜索候选体进行自动识别；作为对比，也使用了启发式阈值判断的方法(RRATtrap和 Clusterrank)。结果表明，SPEGID 具有最好的性能表现(最高的 F1-score 值 95.1%、次高的召回率 95.4%、最低的假阳性率 4.7%)，SPS 具有最快的筛选速度(平均每小时筛选 4010 个候选体)。通过对比分析结果，探讨了如何基于 FAST 观测数据开展高效的单脉冲搜索候选体识别。关键词：单脉冲搜索；候选体识别；机器学习；脉冲星；FAST；CRAFTS中中中图图图分分分类类类号号号：P111.44文文文献献献标标标识识识码码码：A1引言脉冲星搜索方法主要分为周期性搜索和单脉冲搜索两大类1。周期性搜索通过快速傅里叶变换(FFT)将时间序列转化到频域以识别周期性信号2。传统上主要通过周期性搜索来探测脉冲星，这是利用脉冲星信号固有的周期性来实现。单脉冲搜索主要寻找强的、非周期收稿日期：2022-09-06；修回日期：2023-03-06资助项目：中国科学院天文大科学研究中心 FAST 重大成果培育项目(FAST2019sr04)；贵州省科学技术基金(黔科合基础-ZK2021 重点 020，黔科合 J 字 LKS201038 号)通讯作者：梁楠，416天 文 学 进 展41 卷416天 文 学 进 展41 卷416天 文 学 进 展41 卷的脉冲，非常适合发现周期性搜索中无法发现的孤立爆发3；应用单脉冲搜索方法导致了旋转射电暂现源(rotating radio transients,RRATs)和快速射电暴(fast radio bursts,FRB)的发现。2006 年，McLaughlin 等人4首先发现了 RRATs，被认为是一种特殊类型的间歇脉冲星。2007 年，Lorimer 等人5在帕克斯多波束脉冲星巡天(Parkes multibeam pulsar survey,PMPS)观测数据中发现了第一例 FRB。自 2003 年 Cordes 和 McLaughlin3首次提出单脉冲搜索探测脉冲星以来，单脉冲搜索的应用产生了海量候选体，为了从射电巡天数据中快速筛选出最有价值的候选体，基于特定的脉冲星巡天数据面临的候选体识别问题，相继提出了不同的单脉冲搜索候选体识别方法611。单脉冲搜索候选体识别已经从早期启发式阈值判断发展到基于机器学习(machinelearning,ML)自动识别6。启发式阈值判断的识别方法主要利用脉冲星所具有的启发式特性来引导搜寻，筛选出最有价值的单脉冲搜索候选体。例如：Deneva 等人7通过对阿雷西博L 波段馈源阵列脉冲星巡天(pulsar Arecibo L-band feed array survey,PALFA)单脉冲搜索，发现了 7 颗新脉冲星。Keane 等人8在 PMPS 中发现了 10 颗 RRATs。Burke-Spolaor 等人9在高时间分辨率宇宙脉冲星巡天(high time resolution universer survey,HTRU)观测数据中发现了 11 颗 RRATs。2015 年，Karako-Argaman 等人10设计用于探测脉冲星和 RRATs的工具 RRATtrap，根据候选体与设定的规则符合程度分配数值分数，通过只检查超过给定阈值的候选体，区分脉冲星与射频干扰产生的候选体，在绿岸望远镜 350 MHz 漂移扫描巡天(Green Bank telescope 350-MHz drift-scan survey,GBT350Drift)和绿岸北天区巡天(Green Bank north celestial cap survey,GBNCC)的观测数据中发现 21 颗 RRATs。2016年，Deneva 等人11开发 Clusterrank 工具，通过量化候选体色散与信噪比曲线与 Cordes和 McLaughlin 预测的理论曲线3符合程度，评判候选体是脉冲星的可能性，在阿雷西博327 MHz 漂移脉冲星巡天数据(Arecibo 327 MHz drift pulsar survey,AO327)中发现 14 颗脉冲星和 8 颗 RRATs。启发式阈值判断方法主要根据脉冲星的特性构建启发式规则，并没有针对射频干扰构造规则进行过滤，往往会产生大量的虚假候选体，难以适应大规模、海量的数据处理。目前，人工智能相关技术已广泛应用在周期性搜索候选体识别任务中1215，而在单脉冲搜索候选体识别领域的研究相对较少。随着脉冲星巡天设备产生的候选体数量呈指数增长，仅依赖人工识别筛选已不能满足数据的时效需求，机器学习等人工智能技术已经开始逐渐运用到单脉冲搜索候选体识别研究领域。基于机器学习的单脉冲搜索候选体识别方法(以下简称“机器学习识别方法”)，利用脉冲星与射频干扰固有的特性开发特征工程，构建强有力的特征以最大限度区分脉冲星与射频干扰，通过机器学习分类器对候选体进行自动识别。2016 年，Devine 等人16首次将机器学习应用于单脉冲搜索候选体识别，实现了自动化筛选候选体；2018 年，同组的 Pang 等人17提出了单脉冲事件组识别(single-pulse event group identification,SPEGID)，构造 18 个特征描述聚合产生的单脉冲事件组(single-pulse event group,SPEGs)，结合机器学习分类器对 PALFA 观测数据进行自动识别；随后，SPEGID 特征工程被拓展到 23 个18，并应用到 GBTDrift。另外一方面，2018 年，Michilli 等人19设计了单脉冲搜索器(single-pulse searcher,SPS)，用 5 个特征描3 期张彬，等：基于机器学习的单脉冲搜索候选体识别对 FAST 观测 CRAFTS.4173 期张彬，等：基于机器学习的单脉冲搜索候选体识别对 FAST 观测 CRAFTS.4173 期张彬，等：基于机器学习的单脉冲搜索候选体识别对 FAST 观测 CRAFTS.417述聚合产生的 SPEGs，并通过机器学习分类器区分低频阵列(low frequency array,LOFAR)全天空巡天数据(tied-array all-sky survey,LOTAAS)强干扰环境下的脉冲星与射频干扰。500 m 口径球面射电望远镜(Five-hundred-meter Aperture Spherical radio Telescope,FAST)是目前世界上最灵敏的单口径射电望远镜。FAST“多科学目标同时扫描巡天”(thecommensal radio astronomy FAST survey,CRAFTS)同时使用多个数字终端采集脉冲星、中子氢、分子谱线、暂现源、FRB 等多科学目标观测数据20。据估计，CRAFTS 脉冲星搜索在每次 24 h 巡天扫描中会产生数万到数十万个脉冲星候选体20，通过人工诊断发现，这些候选体绝大多数是射频干扰或宇宙噪音引起的虚假候选体21。对 FAST 这种大规模射电天文观测数据进行单脉冲搜索寻找新脉冲星，必须快速找到具有科学价值的单脉冲搜索候选体并对其进行优先存储，以避免累积延迟，并使用稳健的单脉冲搜索候选体识别方法准确高效地区分出脉冲星与射频干扰。2017 年 8 月至 2018 年 5 月，FAST 使用超宽带接收机(270 1620 MHz)运行漂移扫描巡天模式，快速连续地观测天空中的多个区域。期间共收集 2760 h 的脉冲星巡天数据，共计 317497 个数据文件，称为 CRAFTS 超宽带脉冲星巡天数据(以下简称“CRAFTS 数据”)，存储在中国科学院国家天文台-贵州师范大学 FAST 早期科学数据中心。本研究工作主要利用机器学习识别方法对 CRAFTS 数据产生的单脉冲搜索候选体的性能表现进行评估，以寻求快速高效地筛选出候选体的解决方案。本文结构安排如下：第 2 章介绍基于机器学习的单脉冲搜索候选体识别方法基本理论；第 3 章使用机器学习识别方法(SPEGID 和SPS)和启发式阈值判断识别方法(RRATtrap 和 Clusterrank)对 CRAFTS 单脉冲搜索产生的候选体基准数据集进行测试，并对不同识别方法性能表现以及速度进行对比分析；第 4 章对全文进行总结和讨论。2基于机器学习的单脉冲搜索候选体识别方法基本理论利用射电天文观测数据探测脉冲星通常分为五个阶段1：数据收集、去干扰、消色散、周期性搜索或单脉冲搜索、人工诊断。第一阶段，射电望远镜终端收集到的射电信号以电压时间序列的形式存储；第二阶段，去干扰是消除或减轻射频干扰对搜索结果的影响；第三阶段，消色散是消除与频率有关的延迟效应的影响；第四阶段，使用周期性搜索或单脉冲搜索筛选出观测数据中的脉冲星候选体；第五阶段，对每个脉冲星候选体进行人工诊断，以确定其真实性。目前，FAST 观测数据主要使用并行化实现的 PRESTO(pulsar exploration andsearch toolkit)开展脉冲星搜索研究22。基于 PRESTO 的单脉冲搜索方法探测天体物理信号的数据流程图主要包括如下步骤：数据收集、去干扰、消色散、单脉冲搜索、候选体识别和人工诊断(如图 1 所示)。在图 1 候选体识别模块中，同时列出了启发式阈值判断识别方法(RRATtrap 和Clusterrank)以及机器学习识别方法(SPEGID 和 SPS)。表 1 给出了以上 4 类识别方法的基本信息。为了比较不同候选体识别方法区分脉冲星与非脉冲星候选体的能力，可以通过418天 文 学 进 展41 卷418天 文 学 进 展41 卷418天 文 学 进 展41 卷注：虚线框放大区域展示机器学习识别方法两阶段数据处理流程图。图 1基于 PRESTO 的单脉冲搜索方法探测天体物理信号流程图表 14 类单脉冲搜索候选体识别方法的相关信息类型识别方法相关文献观测数据集性能表现召回率假阳性率启发式阈值判断RRATtrap10GBT350Drift0.80.09GBNCCClusterrank11AO3270.70.07机器学习SPEGID17PALFA0.9560.0218GBTDrift0.9420.02SPS19LOTAAS0.9860.01评价指标对性能表现进行量化。候选体识别任务中，我们希望识别方法尽可能准确地识别所有脉冲星候选体的同时，最大程度减少虚假候选体的产生。因此，衡量候选体识别方法的性能表现最主要的评价指标是召回率和假阳性率10：召回率量化识别方法正确识别数据集中脉冲星候选体的比例，假阳性率量化识别方法产生虚假候选体的比例。最佳识别方法具有高召回率以及低假阳性率。F1-score 及 G-mean 综合评估识别方法正确识别脉冲星以及产生虚假候选体的能力，最均衡的识别方法具有高 F1-score 和 G-mean 值。从表 1 可知，机器学习识别方法相比启发式阈值判断具有高召回率和低假阳性率。常用的评价指标有：准确率，正确分类脉冲星和非脉冲星的数量占训练实例的百分比；查准率，正确分类为脉冲星与被分类为脉冲星的实例数量比值；召回率，正确分类为脉冲星与真实为脉冲星的实例数量比值；假阳性率，被误判为脉冲星占非脉冲星的实例总数百分比；F1-score，查准率和召回率的加权调和平均值；G-mean，召回率和特异度(正确分类为非脉冲星与真实为非脉冲星的实例数量比值)乘积的算术平方根。3 期张彬，等：基于机器学习的单脉冲搜索候选体识别对 FAST 观测 CRAFTS.4193 期张彬，等：基于机器学习的单脉冲搜索候选体识别对 FAST 观测 CRAFTS.4193 期张彬，等：基于机器学习的单脉冲搜索候选体识别对 FAST 观测 CRAFTS.419单脉冲搜索通常会为每个观测生成一个或多个诊断图，从诊断图中分离出脉冲星的过程被称为候选体识别。图 2 给出通过 PRESTO 对 CRAFTS 数据单脉冲搜索探测到的 PSRB0540+23 结果诊断图。基于 PRESTO 的单脉冲搜索候选体识别方法，通过处理单脉冲搜索 Single pulse search.py 结果文件(记录每个单脉冲事件的色散值、脉冲到达时间、信噪比、脉冲宽度)，实现候选体的识别与分类任务。通常假设脉冲星信号具有显著特征，可以在搜索过程中从大量虚假探测中脱颖而出，单脉冲搜索候选体识别方法被设计寻找这些隐藏的特征6。由于脉冲星信号通常与出现在一定色散(dispersion measure,DM)范围大约相同时间的单脉冲事件组紧密相关。单脉冲搜索候选体识别方法一般先通过聚类算法将出现在一定 DM 和时间阈值范围内的单脉冲事件(single-pulse event,SPE)聚合成单脉冲事件组(SPEGs)；再构造区分脉冲星与非脉冲星候选体的启发式规则或开展特征工程；最后应用构建的规则或机器学习分类器对 SPEGs 进行识别，进而实现候选体的分类任务。注：a)时间与试验 DM 的散点图，每个散点对应一个单脉冲事件(SPE)，大小与 SPE 的信噪比成正比；b)试验 DM 对应的信噪比大小；c)一组 SPE 聚合为一个单脉冲事件组(SPEGs)时间与 DM 空间分布；d)一个SPEGs 对应的 DM 与信噪比空间分布。图 2通过 PRESTO 对 CRAFTS 数据单脉冲搜索探测到 PSR B0540+23 结果诊断图机器学习识别方法一般分两个阶段对单脉冲搜索候选体自动识别与分类(如图 1 虚线框放大区域)。第一阶段通过聚类算法将相关单脉冲事件(SPE)聚合成单脉冲事件组(SPEGs)后开发特征工程。第二阶段结合机器学习算法，创建一个完全标记的特征数据集训练多420天 文 学 进 展41 卷420天 文 学 进 展41 卷420天 文 学 进 展41 卷种机器学习分类器。在第一阶段，SPEGID 方法结合具有噪声基于密度的空间聚类算法(DBSCAN)23将相关 SPE 聚合成任意形状 SPEGs；随后构造 18 个特征描述 SPEGs。SPS方法采用 Friends-of-Friends 聚类算法24将相邻时间和 DM 阈值内的 SPE 聚合成 SPEGs；通过 5 个特征对 SPEGs 进行统计意义上的建模来描述 SPEGs。在第二阶段，SPEGID 方法选择数据挖掘软件 WEKA 实现的 6 种分类器；最后使用最佳分类器(RandomForest)对未标记的观测数据进行自动识别和分类。SPS 方法选择最佳分类器高斯海灵格快速决策树(GH-VFDT)25对 SPEGs 进行识别；并根据空间信息对标记为脉冲星 SPEGs 进一步过滤，最终生成候选诊断图以供人工诊断。为了实现机器学习分类器对单脉冲搜索候选体的自动识别与分类，要求分类器能够从训练集中获得“脉冲星”的一般模式，这是监督学习的一个应用，是指从标记为脉冲星与非脉冲星的训练集中推断出区分脉冲星与射频干扰的目标函数26，该函数可以根据观测数据特征值将其准确地映射到对应的类别(脉冲星、非脉冲星)。另外，在海量射电天文观测数据中，绝大多数是射频干扰或宇宙噪音引起的无用数据，仅有极少数探测到脉冲星信号，因此射电天文观测数据存在严重的类别不平衡6。而机器学习分类器在类别不平衡的数据集训练时，分类器通常会对多数类别(非脉冲星)进行“过度训练”，导致训练的分类器对新的观测数据进行分类时，分类结果会偏向多数类别，致使感兴趣的少数类别(脉冲星)出现大量误判27。为了缓解机器学习分类器在不平衡数据集性能表现较差的问题，须对基准数据集进行不平衡处理。之前基于机器学习的单脉冲搜索候选体识别方法的研究表明16,17，SMOTE(合成少数群体过采样技术)28在数据不平衡的处理上优于其他方法。3机器学习识别方法对 CRAFTS 数据的应用和对比分析在本研究工作中，我们通过测试四类单脉冲搜索候选体识别方法对 CRAFTS 数据的应用，评估机器学习识别方法对 FAST 数据的整体性能表现。首先构建一个 CRAFTS 基准数据集；然后使用 PRESTO对数据集预处理，包括去干扰、消色散和单脉冲搜索；再应用机器学习识别方法(SPEGID和 SPS)识别单脉冲搜索候选体；作为对比，我们也使用了启发式阈值判断方法(RRATtrap和 Clusterrank)。为了全面比较不同机器学习分类SPEGID 特征 113 表征单个 SPEGs 信息，包括 SPEGs 峰值信噪比、脉冲宽度、DM 跨度、DM 与信噪比曲线对称值等信息，并提出一种新的峰值识别算法表征 DM 与信噪比曲线的峰值；特征 1418 通过将一致 DM 范围内的 SPEGs 聚合为 SPEGs 组，统计 SPEGs 组内的最大信噪比、SPEGs 数量等信息，以反映一致 DM 范围内的 SPEGs 之间的关联18。SPS 特征 13 表征 SPEGs 的加权平均 DM 值、峰值信噪比以及对应的脉冲宽度；特征 4、5 通过超额峰度统计量，表征 SPEGs 的 DM 与信噪比和脉冲宽度曲线的峰值位置以及对称性的信息19。https:/www.cv.nrao.edu/sransom/presto/https:/ 期张彬，等：基于机器学习的单脉冲搜索候选体识别对 FAST 观测 CRAFTS.4213 期张彬，等：基于机器学习的单脉冲搜索候选体识别对 FAST 观测 CRAFTS.4213 期张彬，等：基于机器学习的单脉冲搜索候选体识别对 FAST 观测 CRAFTS.421器在识别方法中的性能差异，我们使用 Scikit-learn 库实现的 7 种分类器：高斯朴素贝叶斯(GaussianNB)29、逻辑回归(LR)30、支持向量机(SVM)31、决策树(DT)32、随机森林(RF)33、梯度提升决策树(GBDT)34以及多层感知机(MLP)35；同时采用 SMOTE 技术为少数类(脉冲星)样本创建合成实例，以增加少数类的规模，构建平衡的数据集。为了评估单脉冲搜索候选体识别方法的性能表现，需要构建一个基准数据集。我们构建的基准数据集包括 823 个脉冲星和 1023 个非脉冲星候选体，其中脉冲星候选体是通过RRATtrap 对 CRAFTS 数据初步筛选确认含有脉冲星信号的样本；非脉冲星候选体是在人工诊断中发现广泛造成数据产生虚假候选体的主要射频干扰类型构成的样本。此外，机器学习识别方法训练机器学习分类器须构建一个完全标注的特征数据集。对于基准数据集中候选体产生的每条特征数据，我们采用人工标注。标准如下：对于脉冲星候选体每条特征数据比对候选诊断图(见图 2 a),b)，如果 SPEGs 对应的 DM 满足，1)与时间空间的形状呈纺锤状(见图 2 c)，2)与信噪比曲线呈高斯曲线(见图 2 d)，3)上下波动为 2 pccm3范围内存在位于不同时间的 SPEGs，则被标注为脉冲星，否则标注为非脉冲星；对于非脉冲星候选体的每条特征数据，全部标注为非脉冲星。3.1SPEGID 方法对基准数据集的候选体自动识别与分类为了实现 SPEGID 方法对 CRAFTS 基准数据集候选体的自动识别与分类，我们按照 SPEGID 方法收集每个候选体的特征数据：先通过 DBSCAN 算法对候选体聚类得到SPEGs；再根据 SPEGID 的特征工程收集每个 SPEGs 的特征值，共收集 227632 条特征数据，每条数据对应一个 SPEGs；随后采用上述人工标注数据的标准标注所有数据，构建完全标注 SPEGID 特征数据集。最终，27521 个 SPEGs 被标记为脉冲星，200111 个 SPEGs被标记为非脉冲星。为了研究不同机器学习分类器对 SPEGs 的分类性能，我们将 SPEGID特征数据集分为训练集和测试集，通过训练集训练 7 种机器学习分类器。训练集包括 5772个脉冲星 SPEGs 和 87898 个非脉冲星 SPEGs(对应 240 个脉冲星和 260 个非脉冲星候选体)；测试集为其余 21749 个脉冲星 SPEGs 和 112213 个非脉冲星 SPEGs(对应 583 个脉冲星和 763 个非脉冲星候选体)。针对训练集中脉冲星与非脉冲星样本不平衡问题，采用SMOTE 合成脉冲星 SPEGs 样本，构建平衡的训练集，再应用 7 种机器学习分类器在平衡训练集进行训练。训练过程中，采用交叉验证方法，将训练集随机分为 5 组，4 组用于训练分类器，1 组用于评估分类器；并通过 Scikit-learn 的网格搜索方法(GridSearchCV)确定每种分类器最佳的超参数值。在网格搜索中，我们为每种分类器定义一组超参数候选值，通过对所有可能的超参数组合进行评估，确定表现最佳的超参数组合作为分类器的最终超参数值。最后，使用训练好的机器学习分类器对测试集进行识别与分类，并根据分类器结果和https:/scikit-learn.org/stable/index.htmlSPEGID 方法收集特征数据时，DBSCAN 算法的超参数取值为：邻域的距离阈值取 10，核心对象所需要的 邻域的样本数取 12，其他经验参数与 SPEGID 方法保持一致。GaussianNB 使用默认的超参数。LR：正则化强度的倒数 C 取 18，采用拟牛顿法优化损失函数；SVM：目标函数的惩罚系数 C 取 10，核函数取 rbf，核函数系数 gamma 取 0.1；DT：树的最大深度取 12，叶子节点最小样本数取 8；RF：样本集切分策略采用 gini 指数，树的最大深度取 8，最多特征数取 4，叶子节点最小样本数取 4，树的颗数取 200；GBDT：树的422天 文 学 进 展41 卷422天 文 学 进 展41 卷422天 文 学 进 展41 卷SPEGs 样本的人工标签计算性能评价指标。表 2 列出了 7 种机器学习分类器对 SPEGID 测试集分类的评价指标值。可以看到：1)所有采用 SMOTE 技术得到的平衡训练集训练的分类器具有更高的召回率和假阳性率，表明不平衡处理可以使更多脉冲星 SPEGs 正确分类，也会导致更多非脉冲星 SPEGs 被误判为脉冲星。2)除了 SVM 出现过拟合(SVM 在选择多组超参数值的情况下，召回率均低于2%)外，其他分类器各项性能指标值均在 80%以上，这表明 SPEGID 开发的特征工程较好地实现了脉冲星与射频干扰的分离。3)14 种分类器方法中，LRsmote召回率最高，GBDT和 LR 假阳性率最低(SVM 分类器出现过拟合，其假阳性率不具有对比价值)；GBDTsmote的 F1-score 和 G-mean 最高，表明 GBDTsmote均衡性最好。总之，SPEGID 方法应用于基准数据集，即使选择简单分类器模型(GaussianNB)都可以取得较高评价指标值，这表明SPEGID 能够较好地完成 CRAFTS 数据单脉冲搜索候选体识别任务。表 27 种机器学习分类器对 SPEGID 测试集分类的性能数据分类器准确率查准率召回率假阳性率F1-scoreG-meanGaussianNB0.9440.7600.9550.0580.8470.948LR0.9720.9320.8900.0130.9110.937SVM0.8390.9680.0120.0010.0250.114DT0.9750.9630.8790.0060.9190.935RF0.9900.9880.9500.0020.9680.974GBDT0.9900.9920.9490.0020.9700.973MLP0.9860.9660.9490.0060.9580.971GaussianNBsmote0.9330.7190.9630.0720.8240.945LRsmote0.9390.7350.9770.0680.8390.954SVMsmote0.8410.9470.0190.0000.0370.138DTsmote0.9800.9770.9000.0040.9370.947RFsmote0.9890.9800.9510.0040.9650.973GBDTsmote0.9900.9840.9600.0030.9720.978MLPsmote0.9870.9590.9590.0080.9590.975注：分类器下标 smote 表示 SMOTE 技术平衡后的训练集训练的分类器；号表示 SVM 分类器出现过拟合，所有性能数据不具有对比价值。3.2SPS 方法对基准数据集的候选体自动识别与分类为了使用 SPS 方法对 CRAFTS 基准数据集的候选体自动识别与分类，我们按照 SPS 方法收集每个候选体的特征数据：先通过 Friends-of-Friends 算法对候选体聚类得到 SPEGs；再根据 SPS 的特征工程收集每个 SPEGs 的特征值，共收集 90494 条数据；随后采用上述人工标注数据的标准对每条数据进行手工标注，构建完全标注 SPS 特征数据集。最终，14779个 SPEGs 被标记为脉冲星，75715 个 SPEGs 被标记为非脉冲星。同样，我们将 SPS 特征数据集分为训练集和测试集。训练集包括 2821 个脉冲星 SPEGs 和 37896 个非脉冲星 SPEGs最大深度取 5，最多特征数取 6，叶子节点最小样本数取 4，树的颗数取 50，子采样取 0.8；MLP 由输入层、隐藏层、输出层组成，激活函数为 relu，优化器选择 Adam。SPS 方法收集特征数据时，Friends-of-Friends 的超参数以及 SPS 方法使用的经验参数保持不变。由于 CRAFTS 数据由 FAST 单波束接收机收集，故未根据空间信息对标记为脉冲星的候选体做进一步处理。3 期张彬，等：基于机器学习的单脉冲搜索候选体识别对 FAST 观测 CRAFTS.4233 期张彬，等：基于机器学习的单脉冲搜索候选体识别对 FAST 观测 CRAFTS.4233 期张彬，等：基于机器学习的单脉冲搜索候选体识别对 FAST 观测 CRAFTS.423(对应 240 个脉冲星和 260 个非脉冲星候选体)；测试集为其余 11958 个脉冲星 SPEGs 和37819 个非脉冲星 SPEGs(对应 583 个脉冲星和 763 个非脉冲星候选体)。然后，我们用训练集训练 7 种机器学习分类器，并通过网格搜索方法(GridSearchCV)确定每种分类器最佳超参数值；测试集评估分类器的性能表现。采用 SMOTE 数据不平衡处理技术合成脉冲星SPEGs 样本，再应用 7 种机器学习分类器在平衡的训练集进行训练。最后使用训练好的机器学习分类器对测试集进行识别与分类；并根据每个分类器的分类结果与 SPEGs 样本人工标签，计算分类器的性能评价指标值。表 3 总结了 7 种机器学习分类器对 SPS 测试集分类的评价指标值。可以看到：1)相比于不平衡训练集训练的分类器，应用 SMOTE 技术得到的平衡训练集训练的分类器提高了召回率，也提高了假阳性率(GaussianNB，LR 在选择多组超参数值的情况下，F1-score值均低于 50%，对于二分类任务，这样的性能表现甚至不如随机猜测，表明 SPS 方法构造的特征训练这两种分类器效果不佳，它们假阳性率不具有对比价值)。2)对于 MLP 分类器，MLPsmote召回率大幅提高了近 0.4。3)在各项指标上，基于树的 3 种分类器(DT,RF,GBDT)优于另外 4 种分类器。4)14 种不同分类器方法中，GBDTsmote具有最高的召回率(如上所述，GaussianNB 分类器效果不佳，其召回率不具有对比价值)，GBDT 分类器具有最低的假阳性率；GBDT 的 F1-score 指标最高，GBDTsmote的 G-mean 指标最高。总之，SPS 方法应用于基准数据集，仅基于树的 3 种分类器(DT,RF,GBDT)取得较高评价指标值。表 37 种机器学习分类器对 SPS 测试集分类的性能数据分类器准确率查准率召回率假阳性率F1-scoreG-meanGaussianNB0.2530.2430.9990.9830.3910.129LR0.5570.3290.8130.5230.4680.622SVM0.8460.8750.4170.0190.5650.639DT0.9220.9100.7470.0230.8210.854RF0.9330.9440.7650.0140.8450.868GBDT0.9390.9510.7880.0130.8620.882MLP0.8650.8960.4950.0180.6380.697GaussianNBsmote0.2530.2430.9990.9830.3910.128LRsmote0.5660.3350.8260.5160.4770.632SVMsmote0.8580.7030.7110.0950.7070.802DTsmote0.8890.7270.8630.1020.7890.880RFsmote0.9020.7590.8630.0860.8080.888GBDTsmote0.8850.6990.9200.1250.7950.897MLPsmote0.8280.5960.8860.1890.7130.847注：分类器下标 smote 表示 SMOTE 技术平衡后的训练集训练的分类器；号表示 GaussianNB和 LR 分类器效果不佳，所有性能数据不具有对比价值。GaussianNB 使用默认的超参数；LR：正则化强度的倒数 C 取 5，采用拟牛顿法优化损失函数；SVM：目标函数的惩罚系数 C 取 10，核函数取 rbf，核函数系数 gamma 取 1；DT：叶子节点最小样本数取 10；RF：内部节点再分最小样本数取2，叶子节点最小样本数取 2，树的颗数取 400；GBDT：叶子节点最小样本数取 10，树的颗数取 400，子采样取 0.9；MLP由输入层、隐藏层、输出层组成，激活函数为 relu，优化器选择 Adam。424天 文 学 进 展41 卷424天 文 学 进 展41 卷424天 文 学 进 展41 卷3.3不同识别方法的性能表现和筛选速度的对比分析为了对比不同类别识别方法在基准数据集中的性能表现，我们也采用了启发式阈值判断方法(RRATtrap 和 Clusterrank)对基准数据集进行候选体识别。由于启发式阈值判断的方法通过整体返回启发式分数表示候选体是脉冲星的概率，所以其分类结果依赖候选体10,11。而机器学习识别方法分类结果依赖 SPEGs，且一个候选体通常包含多个 SPEGs(见图 2a)。为了对比分析不同类别识别方法在候选体中的性能表现，对于 SPEGID 和 SPS 分类结果，我们规定每个候选体中，包含有评定为脉冲星的 SPEGs 被标记为脉冲星，否则标记为非脉冲星；再根据标注结果，计算 SPEGID 和 SPS 对于候选体的性能数据。值得注意的是，SPEGID 和 SPS 的实验结果是在完整特征数据集(未划分训练集和测试集)测试结果，以便公平地比较四种方法在基准数据集中的性能表现。对于启发式阈值判断 RRATtrap,Clusterrank，我们测试了多种阈值组合。因为 F1-score 综合衡量了识别方法正确识别脉冲星以及产生虚假候选体的表现，我们选择启发式阈值判断方法具有最高 F1-score 值的阈值组合对应的性能数据进行对比分析；对于机器学习识别方法，同样选择具有最高 F1-score值的机器学习分类器进行对比分析。表 4 列出了 4 类识别方法对于候选体的性能数据，作为对比，最后两行汇总了 SPEGID和 SPS 对于 SPEGs 的性能数据。可以看到：1)4 类方法都表现出较高的召回率(90%以上)，意味着基准数据集中的绝大多数脉冲星信号被正确识别；同时，RRATtrap,Clusterrank,SPS 具有较高的假阳性率，预示着识别结果中包含大量的虚假候选体。Clusterrank 表现出最高的召回率(97.7%)和最高的假阳性率(60.3%)。2)用候选体衡量性能表现时，SPEGID与 SPS 表现出与基于 SPEGs 结果相似的召回率。然而，基于候选体的假阳性率显著增加(SPS 从 9.9%到 46.1%，SPEGID 从 0.1%到 4.7%)；这种假阳性率增加表明，被错误归类为脉冲星 SPEGs 分布在大量的候选体中。3)SPEGID 在多个指标取得最好的分数，且假阳性率仅有 4.7%，远远低于其他 3 种方法。同时，SPEGID 的 F1-score、G-mean 指标超过 95%，表明 SPEGID 取得了最好的性能数据(高召回率、低假阳性率)。对于 CRAFTS 基准数据集，4 类识别方法具有相似的召回率，仅 SPEGID 方法取得相对较低的假阳性率，这主要是因为17SPEGID 方法开发的特征工程，能很好地挖掘出脉冲星在 DM 与时间和信噪比(S/N)空间独特的特征区分脉冲星与射频干扰。总之，对于 CRAFTS 基准数据集，SPEGID 取得了最好性能表现，显著优于其他 3 类方法。此外，通过对比表 1 和表 4 的结果发现，与其他射电望远镜相比(见表 1)，CRAFTS 数据覆盖更广泛的频率范围(270 1620 MHz)，使用 4 类识别方法对 CRAFTS 数据识别单脉冲搜索候选体会表现出更高的假阳性率(见表 4)，这表明 CRAFTS 数据可能会包含有大量类似于脉冲星信号的射频干扰数RRATtrap 取至少有 1 个打分为(6,5,4,3)的组合以及打分为 6 的数量在(2,3,4,6)以上，Clusterrank 对 R2值取 0.9 和 0.8、离群点判断阈值取(0.5,0.4,0.25,0.125)、是否开展 Bonferroni 校正进行组合。RRATtrap 阈值组合取打分为 6 的数量大于等于 3，Clusterrank 选择 R2值大于等于 0.9、离群点判断阈值取 0.25、不进行 Bonferroni 校正的阈值组合。SPEGID 选择进行 SMOTE 数据不平衡处理的 GBDT 分类器，SPS 选择未进行 SMOTE 数据不平衡处理的 GBDT分类器。3 期张彬，等：基于机器学习的单脉冲搜索候选体识别对 FAST 观测 CRAFTS.4253 期张彬，等：基于机器学习的单脉冲搜索候选体识别对 FAST 观测 CRAFTS.4253 期张彬，等：基于机器学习的单脉冲搜索候选体识别对 FAST 观测 CRAFTS.425据。