基于BERT模型的勘探开发资料关键信息智能提取_李新锋.pdf

工艺管控146|2023年05月1 基于BERT 模型的关键信息提取BERT 预训练语言模型是一种基于 Transformer结构的预训练网络1。根据给定的输入文本，学习利用上下文给出词嵌入表示，分别计算关键向量、查询向量和值向量，融合使用注意力机制，获得当前输入文本与上下文语义的关系及其业务信息和含义，使用多头注意力机制，动态生成词向量，不断获取更符合实际的向量表示。1.1 提取流程本文将勘探开发成果资料关键信息抽取的分析过程看作是文本分类任务，对文本预处理、分词、模型构建和分类，结合 BERT 预训练语言模型实现关键信息提炼抽取。本文模型框架如图 1 所示。主要包含三个部分：(1)数据输入层：为了分词准确，对数据预处理过滤，在分词后停用词处理。根据资料特性，将文本划分为头部、主体和尾部三个结构，对每个结构模块分别处理；(2)模型构建层：利用海油基于 BERT 模型的勘探开发资料关键信息 智能提取李新锋，黄凌宇，崔立敏，倪子颜(中海石油(中国)有限公司深圳分公司，广东 深圳 518000)摘要：海上油气勘探开发工作会产生大量文档、图件等成果资料和相关信息。文章提出基于 BERT 预训练语言模型对此类资料数据预训练，生成具有上下文特征的词嵌入向量作为模型输入，利用数据增强和 TF-IDF(词频-逆文件频率)技术来提取特征词，并分析模型预测结果，结合业务数据实现准确率达 85%以上的勘探开发成果资料自动分类及关键信息提取。相较于传统浅层深度学习方法训练出的词与向量单一对应关系和静态词编码方式，实现了对勘探开发词汇一词多义处理和特定任务动态优化。关键词：勘探开发资料；自然语言处理；预训练语言模型；关键信息提取；双向 Transformers 表示中图分类号：TE19 文献标志码：A 文章编号：1008-4800(2023)14-0146-03DOI:10.19900/ki.ISSN1008-4800.2023.14.043Intelligent Extraction of Key Information from Exploration and Production Data based on BERT ModelLI Xin-feng,HUANG Ling-yu,CUI Li-min,NI Zi-yan (Shenzhen Branch,CNOOC China Co.,Ltd.,Shenzhen 518000,China)Abstract:Offshore Oil and gas exploration and production will produce a large number of documents,maps and other results.This paper proposes to pre-train such data based on the BERT pre-training language model,generate word embedding vectors with context features as model input,extract feature words using data enhancement and TF-IDF(word frequency-inverse file frequency)technology,and analyze the model prediction results,Combined with business data,automatic classification and key information extraction of exploration and development results with accuracy of more than 85%can be achieved.Compared with the single correspondence between words and vectors trained by the traditional shallow depth learning method and the static word coding method,it realizes the polysemy processing of exploration and development vocabulary and the dynamic optimization of specific tasks.Keywords:exploration and production data;natural language processing;pre-training language model;key information extraction;bidirectional encoder representation from transformers图1 关键信息抽取模型框架2023年05月|147了头部和尾部之外的所有具有勘探开发业务情况的正文内容。对于地层研究、地质设计和工程设计文档等经过切分后正文内容依旧很长的文本，本文决定采用 TF-IDF(Term Frequency&Inverse Documentation Frequency)技术4进行关键词提取，在信息检索领域，技术人员广泛使用此算法计算权重。对于某一特征值，权重越大表明该特征项较为重要，一个词在特定的文档中出现的频率越高，说明它在区分该文档内容属性方面的能力越强；一个词在文档中出现的范围越广，说明它区分文档内容的属性越低，选择那些对一类作用大而对其他类作用小的特征保留下来。(4)预训练 BERT 算法模型。BERT 模型是有别于传统 CNN 和 RNN 的一种新型架构，采用编码器-解码器框架，使用注意力机制进行机器翻译任务，规避了 CNN 不适合序列化的文本和 RNN 无法并行容易超出内容限制的问题。该模型的 Encoder 将输入序列映射到连续表示，然后 Decoder 生成一个输出序列，每个时刻输出一个结果。(5)模型输出。通过使用 Softmax 分类器来预测成果资料关键标签，如：对具备业务含义的“压裂”“出砂”“井下作业”等信息打标签，该分类器将上一层得到的隐状态作为输入。(6)目标损失函数。成果资料关键信息提取是一个多分类的问题，使用 softmax 分类器输出的标签概率与实际标签分布概率计算损失函数。2 实验2.1 实验环境及数据集本实验是在海油 AI 平台提供的开发环境下，基于 Python 语言使用 Pytorch 框架在 Linux 环境开展。该平台建于 2019 年，整合了大部分深度学习中的神经网络模型并结合海油业务实际定制开发和训练了较为成熟的算法模型，通过模型商城对外提供服务。实验使用了中海油勘探开发数据湖推送的成果资料，对初始数据预处理，筛选、去除无用信息，共使用了 934 个勘探开发成果资料文本。为保障实验效果，本文作者协同业务专家对获取的文本关键信息进行了标注，全量数据的 80%用作模型的训练集，10%用作测试集，10%用作验证集。2.2 超参数设置及实验评价标准2.2.1 超参数设置标准 BERT 模型具有 base 和 large 两个版本，考虑到本实验文件大、内容复杂、对硬件要求高，本文选择 base 版本，分类模型采用的参数，如表 1 所示。AI 平台的文本分类算子逐层训练，结合业务含义拼接生成表征文本的向量，将结果输入到网络模型。样本数据量不足时，使用通用领域语料预处理和微调(Fine-tuning)技术防止过拟合2，免去模型设计的复杂度及训练的久耗时，通过生成的词嵌入向量得到上下文信息，获取文本中业务领域词汇的语义特征最优结果；(3)结果输出层：通过本模型获取到的语义向量输入归一化指数函数(Softmax)以概率的形式展示多分类结果3，实现对成果信息提取的设定。1.2 模型训练本文模型训练涵盖以下六项内容。(1)数据预处理。通过海油数据湖平台获取到油气田勘探开发成果数据，对部分成果资料中存在错误或无实际意义的特殊字符以及停用词，使用 Python 语言编写规则化表达式删除无意义的符号，确保数据清洁。(2)数据增强。针对部分业务场景数据量较少的类别，模型很难学习到该业务类别的特征。面对数据集中存在长尾数据场景，本文通过简单数据增强(easy data augmentation，EDA)方法对长尾数据扩充，在较少数据集上训练时可显著提升性能并减少过拟合。EDA采用四种操作：同义词替换(synonyms replace，SR)：随机从句子中抽 n 个词(不包括停用词)，然后随机找出抽取这些词的同义词，用同义词将原词替换。例如将句子“这是我使用的勘探开发业务数据”替换成“这是我所用的勘探开发数据”。SR 后句子大概率还是会有相同标签。随机插入(randomly insert，RI)：随机从句子中抽取 1 个词(抽取时不包括停用词)，然后随机选择一个该词的同义词，插入原来句子中的随机位置，重复 n次。例如将句子“这是我使用的勘探开发业务数据”改为“这是我勘探开发业务数据使用的”。随机交换(randomly swap，RS)：在句子中，随机交换两个词位置，重复这一过程 n 次。例如将句子“这是我使用的勘探开发业务数据”改为“使用的我勘探开发业务数据这是”。随机删除(randomly delete，RD)：对于句子的每一个单词，都有 p 的概率会被删除。例如将句子“这是我使用的勘探开发业务数据”改为“这是我勘探开发业务数据”。(3)特征工程。从文本长度角度来看，油气田勘探开发成果资料文本属于长文本，且重要信息比较分散。为方便模型更好地学习到分类特征，本文将此类文本切分成头部、主体和尾部三部分。其中头部主要包含标题、编写人信息、文件编号等信息；尾部包含归档日期、归档提交公司名称等信息；主体则包含了文本除工艺管控148|2023年05月码表示的成果资料的关键信息提取，对实际业务场景下的文本进行了训练预测，将文本切分为头部、主体和尾部，利用数据增强技术对数据较少的类别进行扩充。通过生成文本的词嵌入向量，有效获取到上下文信息及勘探开发领域词汇的语义特征。通过对不同阈值下模型的分类效果分析，模型的各个指标准确率在 85%以上。随着样本量的不断增加和机器学习算法的优化，准确率将会进一步提升。本文仅是对勘探开发成果资料的关键标签进行了研究和实现，是利用自然语言处理技术对油气行业的关键信息智能提取、数据高效利用和业务数据知识图谱建设作出的积极尝试与探索。参考文献：1 Devlin J,Chang M,Lee K,et al.BERT:Pre-training of deep bidirectional transformers for language understandingC/Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics,Human Language Technologies.Minneapolis,USA:IOA Press,2019.2 黄光红.深度神经网络Softmax 函数定点算法设计J.中国集成电路，2022，31(07)：60-64.3 G Salton,Ea Fox,H Wu.Extended boolean information retrievalJ.Communications of the ACM,1983,26(11):1022-1036.4 柴玉梅，王宇.基于 TFIDF 的文本特征选择方法J.微计算机信息，2006，22(24)：24-26.作者简介：李新锋(1984-)，男，工程师，本科，研究方向：油气信息化规划和新技术应用。黄凌宇(1980-)，男，工程师，硕士，研究方向：海上油气田数据标准及数据治理。崔立敏(1978-)，女，工程师，本科，研究方向：勘探研究。倪子颜(1995-)，女，助理工程师，硕士，研究方向：油气信息化。表1 参数设置超参数设置大小超参数设置大小网络层数24隐藏层数64self-attention-head16parameters110 M迭代次数100 Mepochs3L2 衰减0.1词向量维度768激活函数RELUdropout0.42.2.2 实验评价标准在机器学习、自然语言处理和信息检索领域，混淆矩阵是一种表示精度评价的标准格式，具体评价指标包含准确率、精准率、召回率和 F1 值等。各项标准的具体计算公式为：准确率=(TP+TN)/(TP+FP+TN+FN)(1)精准率=TP/(TP+FP)(2)召回率=TP/(TP+FN)(3)recallprecision2recallprecisionF1=+(4)式中：TP 表示样本为正，预测结果为正；FP 表示样本为负，预测结果为正；TN 表示样本为负，预测结果为负；FN 表示样本为正，预测结果为负。2.3 实验对比及结果分析2.3.1 阈值设置模型预测通常返回的是概率，可以原样使用，也可以将概率转换成二元值。处理复杂的勘探开发文档时，为提高模型算法对数据的感知能力，先以概率分布输出预测结果，结合实际业务数据分析不同类别之间判定阈值，评估需人工干预的程度，确保模型对类别的分辨能力足够支撑模型预测。例如：在进行钻井地质设计报告分类任务时，如果模型对某设计报告进行预测时返回的概率为 0.999 5，表示模型预测这个非常可能是钻井地质设计报告。同一个模型预测分数为 0.000 3 的设计报告很可能不是。如果预测分数是 0.6，为了将概率分布值映射到分类类别，必须指定分类阈值。当概率值高于该阈值，则表示“是”，如果概率值低于该阈值，则表示“不是”。2.3.1 阈值分析本文尝试设置多组不同阈值，通过结果分析以寻找较合适的阈值。调整阈值对整体评估指标准确度(ACC)及每一个类别评估指标 F1 值的影响，如图 2 所示。其中，左上图代表整体 ACC 随着阈值设置的变化趋势，其他图代表不同类别的评估指标 F1 随着阈值设置的变化趋势。通过观察可知，为了保证每一分类类别的指标都较好，阈值选择 0.95 比较合适。3 结语本文基于预训练语言模型双向 Transformers 编图2 不同概率区间下ACC及各类别F1值分布