医学人工智能产品测试数据集通用化描述方法研究.pdf

窑医疗卫生装备窑 2023年7月第44卷第7期悦澡蚤灶藻泽藻 酝藻凿蚤糟葬造 耘择怎蚤责皂藻灶贼 允燥怎则灶葬造 窑 灾燥造援 44 窑 晕燥援 7 窑 July 窑 2023医学人工智能产品测试数据集通用化描述方法研究车贺宾1，薛万国1，徐洪丽1，董敬1，汪安安1，刘广东2*（1.解放军总医院医学大数据研究中心，北京100853；2.解放军总医院第六医学中心卫勤部，北京100037）摘要介绍了目前医学人工智能产品测试数据集的构建情况及存在的问题，提出了设计底层通用医学数据模块并通过模块灵活组配所需测试数据集的构建模式，制订了具有一定灵活性的测试数据集通用化描述方法，为有效检测医学人工智能产品的准确性、实用性等性能提供了数据支撑。关键词医学人工智能产品；测试数据集；医学数据模块；通用化描述中国图书资料分类号R318曰R197.39文献标志码A文章编号1003-8868渊2023冤07-0074-05DOI院10.19745/j.1003-8868.2023143Generalized method for describing test datasets of medical artificialintelligence productsCHE He-bin1,XUE Wan-guo1,XU Hong-li1,DONG Jing1,WANG An-an1,LIU Guang-dong2*(1.Medical Big Data Research Center,Chinese PLA General Hospital袁Beijing 100853,China;2.Health Service Department,the Sixth Medical Center of Chinese PLA General Hospital,Beijing 100037,China)AbstractThe construction and problems of the medical artificial intelligence product test datasets were introduced.A newmode for establishing medical artificial intelligence product test datasets was put forward involving in development of ageneral medical data modules and requirement-based arrangement of test datasets.A generalized test dataset descriptionmethod with a certain degree of flexibility was formulated to provide data support for measuring the accuracy and practicalityof medical artificial intelligence products.悦澡蚤灶藻泽藻 酝藻凿蚤糟葬造 耘择怎蚤责皂藻灶贼 允燥怎则灶葬造袁2023袁44渊7冤院74-78Key wordsmedical artificial intelligence product;test dataset;medical data module;generalized description0引言人工智能（artificial intelligence，AI）在社会生活中发挥着重要的作用。我国高度重视AI的发展，要求抓住机遇，积极推进政策落实，加快AI技术发展和产品部署实施1。自国家 新一代人工智能发展规划 重点提出要发展智能医疗以来，我国医学AI产业进入了全新的高速发展轨道，且呈现三大特征：（1）数据模态多样化：数据类型由单一影像扩展到影像、文本、信号、视频等模态及模态组合；（2）技术架构多样化：包含基于特征的模式识别、基于深度学习的数据挖掘、基于知识图谱推理的临床辅助决策等；（3）产品迭代常态化：随着技术、数据和需求的变化，产品迭代和更新后再评价的内容也变得愈加常态化2。当前医学AI产品检测服务还普遍存在局限性，比如以单一病种为维度的标准数据集建设无法覆盖多目标、多用途产品的检测需求；业内很多公司自行尝试建立测试集来满足中试加速和针对性调优的需求，导致重复投入、方法不一、数据集质量和产品指标缺乏可比性，大大影响了我国新兴医学AI产业的创新发展3-4。为实现测试数据集快速建设、打破数据模态与病种单一导致难以适应繁杂多变的产品检测需求的困境，亟须建立统一管理不同主题的基础测试数据集体系，以便针对不同的产品生成具体的测试数据。基于此，本文提出医学人工智能产品测试数据集通用化描述方法，为有效检测产品的准确性、实用性等性能提供数据支撑。1测试数据集通用化描述思路本文通过调研7家国内AI医学影像典型公司、7家国内AI辅助诊断典型公司、7家国内外AI药物研发典型公司、5家AI健康管理典型公司、2家AI疾病基金项目院国家重点研发计划项目（2019YFB1404801）；中国人民解放军总医院医学工程实验室自主科研课题（2022SYSZZKY28）作者简介院车贺宾（1991），男，硕士，工程师，主要从事医学大数据治理、专病数据库研发方面的研究工作，E-mail：chehe原。通信作者院刘广东，E-mail：窑学术论坛窑栽澡藻泽蚤泽论著车贺宾，薛万国，徐洪丽，等.医学人工智能产品测试数据集通用化描述方法研究J.医疗卫生装备，2023，44（7）：74-78.74 窑医疗卫生装备窑 2023年7月第44卷第7期悦澡蚤灶藻泽藻 酝藻凿蚤糟葬造 耘择怎蚤责皂藻灶贼 允燥怎则灶葬造 窑 灾燥造援 44 窑 晕燥援 7 窑 July 窑 2023预测典型公司，梳理各企业旗下标志性产品，以及其需要的数据和产品功能，总结出当前市场医学AI产品的检测需求及热门的医学AI产品研发方向。结合专家经验，抽象融合真实世界中医院数据结构和门诊、体检、急诊、住院等诊疗流程，提炼出医学AI产品相关数据项，并归纳组合为不同的医学数据模块。为实现医学AI产品测试数据集统一管理，本文提出通过构建底层通用医学数据模块、高层配置基础测试数据集的2层架构解决医学数据模块通用化和测试数据集专用化的矛盾，制订具有一定灵活性的测试数据集通用化描述方法，将多元化的测试需求统一到一个规则体系下，实现底层通用可组配、约束不同主题的产品测试数据集构建，如图1所示。不同医学AI产品根据不同需求对不同主题的基础测试数据集进行文本分词、图像标注、特征筛选等加工处理，从而生成具体的测试数据，满足不同的医学AI产品检测数据需求。2医学数据模块描述测试数据集所包含的测试用例定义为样本，1个样本为1个测试用例。样本数据中某一类型医疗观察的数据定义为医学数据模块。在原有医学多源数据结构化的基础上，调研多家医学AI企业旗下标志性产品的功能和所需测试数据。在此基础上，以医疗多源异构性的全域思想为指导，统筹多系统电子病历系统、实验室（检验科）信息系统、医学影像信息系统等、多模态（文本、影像、视频、信号等）数据，对有研究价值的构成医学AI产品测试数据集的13类医学数据模块及其内容结构进行了规范化约定，形成 医学人工智能产品测试数据集医学数据模块描述规范。13类医学数据模块包括样本基本信息、生命体征、疾病诊断、手术记录、用药记录、检验结果、检查报告、病历记录、医学波形、医学数字影像、医学图片、门诊病历知识图谱问答集和标注记录，覆盖了市面典型AI医学产品研发所需（除组学数据外）测试数据和标注数据类型。每个数据模块包含模块名称和数据元，数据元包含中文名称、字段名、数据类型、长度、必填项、说明和值域等属性，值域取值范围参考WS 364.92011卫生信息数据元值域代码第9部分：实验室检查、WS 445.102014电子病历基本数据集第10部分：住院病案首页、WS 5382017医学数字影像通信基本数据集 等卫生行业数据标准5-7。其中值域是数据元的允许值，包含可枚举值域、不可枚举值域2种类型。医学数字影像数据模块的数据元构成及属性见表1。13类医学数据模块按照数据结构化的形式要求、语义理解的简易化要求制订，并考虑以下几点：（1）去隐私化。与医院信息系统数据结构相比，不纳入可能泄露个人隐私且与医学AI产品检测不相关的数据元。如样本基本信息不涉及姓名、手机号、身份证号码、地址、婚姻状态、医保类型等；对于医学数字影像，同样将DICOM文件的患者姓名、机构名称进行删除，将患者ID修改为新生成的虚拟ID。（2）去过程化。AI产品训练数据主要是结果数据，一般不含有业务过程数据，如医生、技师、中间结果、临时状态等。如疾病诊断不区分门诊初诊和住院诊断；病历记录不区分门诊、急诊和住院，只包含样本标识、病历记录代码、病历文本内容和病历内容记录日期时间。（3）数据元质控。质控依赖规范中的数据类型、长度、是否必填项、值域范围等属性。除此之外，医学数字影像头文件包含的影像序列可补充校验。（4）兼顾具体数据元和不确定数据元。具体数据元指市面已有医学AI产品的测试数据常用字段，值域明确；不确定数据元指未来医学AI产品可能需要的测试数据字段，值域未做限制。如医学数字影像模块包含检查类型、检查部位等值域受限的数据元，也包含检查参数等未做值域限制的数据元，满足在13类医学数据模块外的不确定数据元存储要求。（5）数据来源为医疗器械。在检验结果、检查报告、医学波形、医学数字影像、医学图片等模块加入医疗器械唯一标识编码体系名称、设备标识、设备名称等数据元。3测试数据集构建描述通过调研医学AI产品检测需求与临床对于测试数据集构建的专业意见，测试数据集具有短期的相对稳定与长期的动态更新的特征。为了实现测试数据集开放共享，必须保证数据集构建的通用性和可灵活配置。本文在规范化的数据模块基础上，通过图1不同主题的基础测试数据集通用化描述思路不同主题的基础测试数据集测试数据集构建描述（数据集的基本信息和数据构成与数据条件）数据集标识描述名称版本用途医学数据模块组合、模块中数据元构成、数据元具体取值范围医学数据模块描述（中文名称、字段名、数据类型、长度、必填项、说明和值域）基本信息检验体征诊断用药手术检查病历波形标注影像图片问答集栽澡藻泽蚤泽论著车贺宾，薛万国，徐洪丽，等.医学人工智能产品测试数据集通用化描述方法研究J.医疗卫生装备，2023，44（7）：74-78.75 窑医疗卫生装备窑 2023年7月第44卷第7期悦澡蚤灶藻泽藻 酝藻凿蚤糟葬造 耘择怎蚤责皂藻灶贼 允燥怎则灶葬造 窑 灾燥造援 44 窑 晕燥援 7 窑 July 窑 2023中文名称字段名数据类型长度必填项说明值域样本标识CASE_IDC50否唯一标识符，即样本ID号影像文件或文件夹名称IMAGING_FILEC50是一次检查唯一标识，一次检查若涉及多个影像文件，则以文件夹形式上传，建议采用检查流水号或样本标识与检查日期组合序列实例号SERIES_INSTANCE_UIDC50是一次检查对应的不同序列实例号影像文件格式FILE_FORMATC4否影像文件的文件格式dcm、nii检查日期EXAM_DATE_TIMEDYYYY-MM-DD hh：mm：ss否受检者接受某项检查开始时的公元纪年日期描述检查类型EXAM_CLASSC8是受检者进行检查类型的英文缩写WS 5382017医学数字影像通信基本数据集 中的CV04.30.003模态（检查类型）代码检查方位EXAM_POSITIONC4否标识受检者在某次影像检查中检查方向和位置的代码WS 5382017医学数字影像通信基本数据集 中的CV04.30.004检查方位代码检查部位BODY_PARTC6是标识受检者在某次影像检查中检查部位名称WS 5382017医学数字影像通信基本数据集 中的CV04.30.005检查部位代码检查项目EXAM_ITEMC40否描述具体的检查项目，如心脏负荷超声、肝脏CT增强、肺组织病理常规等检查参数EXAM_PARAC1 000否检查过程中记录的有关内容，如造影剂种类、注射剂量/速度等医疗器械唯一标识编码体系名称CODINGSYSTEM_OF_UDIC100否描述数据来源医疗器械唯一标识所使用的发码机构的编码体系名称GS1、MA、AHM设备标识DEVICE_CODEC50否描述医疗器械的最小销售单元上的UDI-DI设备名称DEVICE_NAMEC100否描述医疗器械商品名称表1医学数字影像数据模块的数据元构成及属性数据模块组合和约束限制实现特定主题测试数据集的构建，规定了测试数据集的结构构成，包括数据内容的结构和样本数据的条件，说明具体的测试数据集配置涉及哪几类医学数据模块（支持模块复用）、模块中哪些数据元以及具体数据元质控要求，形成医学人工智能产品测试数据集构造描述规范。每个数据集通用化描述由一个XML格式的数据集构建结构文件进行描述定义，其根元素为，包含数据集的基本信息、数据构成与数据条件8。数据集基本信息包含数据集的标识、名称、版本、描述文本、用途等内容9，由下的一组XML元素表达。数据构成与数据条件描述了数据集所包含的数据模块以及对数据元的要求，由下的元素表达。元素又由一系列的元素构成，每个元素描述了一个单一数据模块以及施加其上的数据条件要求。测试数据集通用化描述文件的整体结构如图2所示。测试数据集通用化描述文件整体结构XML示例如下：.-13类医学数据模块之一.3.1数据集的构成不同主题的测试数据集可由不同的医学数据模注：数据类型中C表示文本型，包含汉字、英文字母、符号等，D表示日期时间型；长度50表示最大为50个字符长度的文本，以此类推；长度YYYY-MM-DD hh：mm：ss表示年-月-日时分秒。图2测试数据集通用化描述文件整体结构图数据集构建描述数据集的基本信息数据集的数据构成与数据条件数据模块描述数据元条件要求栽澡藻泽蚤泽论著车贺宾，薛万国，徐洪丽，等.医学人工智能产品测试数据集通用化描述方法研究J.医疗卫生装备，2023，44（7）：74-78.76 窑医疗卫生装备窑 2023年7月第44卷第7期悦澡蚤灶藻泽藻 酝藻凿蚤糟葬造 耘择怎蚤责皂藻灶贼 允燥怎则灶葬造 窑 灾燥造援 44 窑 晕燥援 7 窑 July 窑 2023块组合构成，医学数据模块按需配置（支持模块复用），包括模块中包含哪些数据元以及每个数据元质控要求等。例如，肺部影像数据集由样本基本信息、医学数字影像数据模块构成，宫颈癌病理数据集由疾病诊断和医学图片数据模块构成。测试数据集数据模块的定义决定了样本数据的结构。对单一数据模块的要求由元素表达。元素具有name属性，表示该数据模块的名称。该属性所指定的数据模块将构成测试数据集的一部分，且元素下的数据条件为对该模块数据施加的条件。元素的另一个属性为occurs，其取值可以为“R”或“O”，分别代表该数据模块在样本数据中是“必须数据”或“可选数据”。测试数据集数据构成的XML示例如下：3.2数据条件描述为保证数据集构建模板描述方法具有一定的通用性、灵活性，对于构成数据集的每个数据模块可以根据需要进一步限定数据的条件，用于数据集收集时的质控。数据条件通过数据模块内数据元的取值进行表达，可限制的条件包括数据元不可为空、取值范围约束等，可以同时对一个数据模块的多个数据元施加条件限制，其最终条件为各数据元条件的“与”运算结果。数据元的条件要求由元素表示。元素的必需属性name表示对应数据元的中文名称。如果一个数据模块的数据元没有在中定义，则该数据元的值是否允许为空以及取值范围取决于在数据模块规范中的定义；如果上述规范定义的数据模块的数据元在中出现，则以定义的取值约束条件为准。对数据元的约束条件描述由下的一组元素构成，条件描述项以及对应的XML元素包括数据元最小值限定、最大值限定和值域限定。如数据元的值域限定由元素表示，取值类型与 医学人工智能产品测试数据集医学数据模块描述规范 中定义的要求一致，为可枚举元素。如果数据元的值域有特殊的限定，则需要定义该元素，否则无需定义该元素。测试数据集数据元值域限定的XML示例如下：4测试数据集的构建和实现基于上文中医学AI产品测试数据集医学数据模块描述和测试数据集构建描述文件定义具体测试数据集，包含Excel格式文件和相关医学波形、数字影像、图片和标注文件等附件文件。测试数据集文件名为测试数据集名称，每个医学数据模块表示为.xlsx文件的一个sheet工作表，sheet工作表表名对应医学数据模块中文名称。一个样本数据在不同医学数据模块之间通过唯一样本标识关联，sheet工作表中的列名对应医学数据模块的中文字段名，每列存储对应数据元的值。如果涉及到包含附件的医学数据模块，如医学波形、医学数字影像、医学图片和标注记录等，则在其sheet工作表的文件字段中记录相关医学波形、影像、图片和标注结果等文件资料的文件名，不包含文件后缀名。测试数据集通用化实体结构组成如图3所示。除测试数据集实体文件外，每个基础测试数据集配备一个数据集说明文档和XML配置文件。其栽澡藻泽蚤泽论著车贺宾，薛万国，徐洪丽，等.医学人工智能产品测试数据集通用化描述方法研究J.医疗卫生装备，2023，44（7）：74-78.77 窑医疗卫生装备窑 2023年7月第44卷第7期悦澡蚤灶藻泽藻 酝藻凿蚤糟葬造 耘择怎蚤责皂藻灶贼 允燥怎则灶葬造 窑 灾燥造援 44 窑 晕燥援 7 窑 July 窑 2023中，数据集说明文档包含数据集整体描述、数据采集信息和数据集标注说明，具体包括数据集样本来源、统计结果、数据类型、存储形态、应用场景，采集过程中的技术标准、筛选条件、清洗规则、多样性描述，以及数据集标注内容、标注工具和标注分歧解决方案等。XML配置文件可用于测试数据集的提交说明，也可用于测试数据集收集时的质量控制。为了在平台层面实现对不同主题的基础测试数据集进行统一管理，研制了医学开放式数据入库及管理平台，该平台集成了医学数据模块和测试数据集构建描述的规范，允许根据测试需求自定义不同主题的测试数据集需要组配的内容，然后测试数据集严格按照组配的目标规则上传入库10。测试数据集定义规则并上传数据样本的页面如图4所示。医学开放式数据入库及管理平台已入库管理肝脏CT影像数据集、肺结节CT影像数据集、乳腺MRI影像数据集、前列腺MRI影像数据集、冠状动脉CT血管造影（CT angiography，CTA）影像数据集等18个基础测试数据集。基础测试数据集不针对具体病种，而是以某个部位的某项检查或病历文本为研究对象，预期用途比较广泛。数据采集阶段从患者维度、场所与设备及数据采集技术标准、病种维度3个方面尽可能地覆盖到不同情况，降低数据集的覆盖偏倚11。如肝脏CT影像数据集包含不同性别、年龄段的样本，考虑了体检、筛查、门诊、住院等不同场景以及肝脏常见良性病变、不同类型恶性病变等，适用于基于CT影像进行肝脏局域性与弥漫性病灶检出与分类的医学AI产品的训练和验证。肝脏CT影像数据集、肺结节CT影像数据集、乳腺MRI影像数据集、心脏超声图像数据集、眼底图像数据集、前列腺MRI影像数据集、冠状动脉CTA影像数据集7个数据集被AI公司产品实际应用，按照规定格式整理后成功入库。另外11个数据集根据市场应用场景建立，尚未被AI公司产品实际应用。5结语本文结合临床专家的知识贡献，按照数据结构化、语义理解简易化等符合数据抽取及临床认知的要求，在医学数据模块基础上制订测试数据集构建基本情况描述和不同测试需求限定的规范表述方法，将多元化的测试需求统一到一个规则体系下，从而实现底层通用、高层配置的测试数据集构建过程，缩短测试数据集的构建时间、提高测试效率，更好地满足真实世界中多应用场景和功能不断扩展的医学AI产品检测需求。参考文献1萧毅，刘士远.医学影像人工智能产业化的现状及面临的挑战J.肿瘤影像学，2019，28（3）：129-133.2国家药品监督管理局医疗器械技术审评中心.人工智能医疗器械注册审查指导原则EB/OL.（2022-03-09）2023-04-10.https:/ 5382017S.8王浩，孟祥峰，王权，等.人工智能医疗器械用数据集管理与评价方法研究J.中国医疗设备，2018，33（12）：1-5.9人工智能医疗器械质量要求和评价第2部分：数据集通用要求：YY/T 1833.22022S.10梁铭标，林晓兰，黄帅，等.面向不确定需求的检测数据集配置平台设计与实现J.医疗卫生装备，2023，44（2）：5-11.11胸部CT肺结节数据集构建及质量控制专家共识J.中华放射学杂志，2021，55（2）：104-110.（收稿：2023-01-10修回：2023-04-11）图3测试数据集通用化实体结构示意图图4测试数据集定义规则并上传数据样本的页面测试数据集通用化实体描述文档Excelsheet工作表表头字段影像、波形、图片等实体附件栽澡藻泽蚤泽论著车贺宾，薛万国，徐洪丽，等.医学人工智能产品测试数据集通用化描述方法研究J.医疗卫生装备，2023，44（7）：74-78.78