DiSCUSS现代汉语平衡口语语料库的创建.pdf

127语料库语言学 2022年 第9卷 第2期DiSCUSS现代汉语平衡口语 语料库的创建1*北京外国语大学孙铭辰提要：本文主要介绍“DiSCUSS现代汉语平衡口语语料库”（简称DiSCUSS库）的建设过程。作为国内首个开源的百万词级现代汉语平衡口语语料库，DiSCUSS库采用与“国际英语语料库”相同的取样模式创建，库容为100万词。该语料库具有较好的平衡性和代表性，使其可广泛应用于汉语口语研究、汉外口语对比等领域。此外，DiSCUSS库提供的社会语言学变量、说话人标记和词性标注等也可作为开展语言变异、话轮转换机制、叙事结构等研究议题的重要数据基础。关键词：DiSCUSS库、现代汉语平衡口语语料库、国际英语语料库、国际可比语料库1 引言DiSCUSS库是按照国际英语语料库（简称ICE）的取样模式（Greenbaum&Nelson 1996）创建的百万词级现代汉语平衡口语语料库。该语料库由北京外国语大学中国外语与教育研究中心许家金教授主持建设。作为国内首个开源的百万词级现代汉语平衡口语语料库，DiSCUSS库在汉语口语话语研究、汉外口语对比、汉语二语习得等领域具有广泛的应用前景。2 研制背景2.1 口语语料库建设的三个世代口语语料库的建设一直以来都是困扰学界的难题。口语语料库的建设难度数倍于书面语语料库，因为前者收集转写语音的难度更大、成本更高、速度更慢（Love et al.2017）。Burnard（2002）更是认为建设100万词口语语料库的工作量是建设同样规模新闻报刊类语料库的10倍。以布朗语料库和伦敦隆德口语语料库*本文系国家社科基金一般项目“概率语境共选视角下的多语外汉词典数据库建设与研究”（21BYY021）的阶段性成果。感谢许家金、董通、陈哲、康卉、苏杭、李银美、刘芳芳、王波、王义娜、王彦，马博森、权立宏、陆军、朱周晔、钱一华、刘朝霞等老师和同学对DiSCUSS库建设的支持和所付出的巨大努力。感谢许家金教授对本文写作提出的宝贵意见。SJ00082939 语料库语言学 第18辑正文.indd 12723-1-10 下午6:51128DiSCUSS现代汉语平衡口语语料库的创建（简称LLC）为例，第一个电子化英语平衡书面语语料库Brown语料库于1962年立项，历经三年建设，于1964年问世（Francis&Kuera 1964）；第一个电子化通用英语口语语料库LLC语料库自Qurik于1959年发起“英语用法调查”项目，陆陆续续历经二十年，才在1980年初步问世，但库容也仅为50万词左右（Svartvik 1990）。随着计算机运算与存储技术的不断革新，口语语料库的建设与语料库研究齐头并进，经历了1.0、2.0、3.0三个世代（许家金 2017）。英语口语语料库的建设在三个世代都有其代表性成果。在1.0世代即前电子化时代，Fries（1952）曾录制并转写了25万词美国中北部居民的标准英语对话，用以编写英语语法（许家金 2019）。1959年，Quirk发起“英语用法调查”项目，通过数以千计的纸条记录英语口语用例。进入口语语料库建设的2.0世代后，1975年，Svartvik在“英语用法调查”项目的基础上增补语料，并将纸介转为电子文档，于1980年初步建成第一个电子化通用英语口语语料库LLC（Svartvik 1990）。20世纪80年代，Sinclair（1989）领导“英语文库”（Bank of English）项目，库中部分口语语料取自广播电视、非正式对话等。1993年，青少年英语口语语料库COLT问世（Stenstrm&Breivik 1993）。1994年，兰卡斯特大学发布英国国家语料库（简称BNC），其中包含1,000万词的英国英语口语语料（Crowdy 1995）。二十多年后兰卡斯特大学又推出BNC2014口语语料库（Love et al.2017）。1998年，“国际英语语料库”ICE项目推出第一个英国英语分库ICE-GB，其中60%的部分由口语语料构成，共计60万词（Greenbaum&Nelson 1996）。在2.0世代后期，通用口语语料库的建设逐渐转向专用口语语料库，如学术口语语料库MICASE语料库（Simpson et al.2000）、T2K-SWAL语料库（Biber et al.2001）、BASE语料库（Thompson&Nesi 2001）等。在大数据技术推动下，21世纪口语语料库的建设进入3.0世代。超大规模性是3.0世代口语语料库的重要特点。1.3亿词（截至2020年3月）的COCA语料库口语子库是目前规模最大的口语语料库之一（Davies 2010，2020）。Davies所领导建设的其他系列语料库，如电视语料库、电影语料库、美国电视剧语料库等也均在亿词规模，为英语口语研究提供了丰富的研究语料。相较于英语口语语料库的建设，现代汉语口语语料库的研制兴起于20世纪80年代前后，虽起步较晚，但发展势头迅猛。在1.0世代即前电子化时代，Chao（1968）曾基于真实口语语料完成中国话的文法一书。进入电子化的2.0世代后，北京语言学院于1981年开展“北京口语调查”项目（宋孝才 1987），基于社会语言学人口抽样原则，调查近378名北京人非正式场合的连贯话语，收集了150多个小时录音，共计230万词左右的口语语料。顾曰国（2002）于1999年前后主持开展北京地区现场即席话语语料库的研制工作，根据北京地区电话黄页设计取样方案，最终完成650小时录音的语料收集。中国传媒大学也于2005年SJ00082939 语料库语言学 第18辑正文.indd 12823-1-10 下午6:51129孙铭辰开始搭建有声媒体文本语料库（http:/ et al.1996）。方梅（2000）转写了6段总时长4小时的自由对话录音材料并由此研究汉语口语中的弱化连词。在青少年汉语口语语料库的建设方面。许家金（2008，2009）转写了14万字的城市青少年汉语口语语料库，并开展了话语标记系列研究。在汉语口语语料库建设的3.0世代，北京语言大学的BCC语料库（荀恩东等 2016）和北京大学的CCL语料库现代汉语部分（詹卫东等 2019）最具代表性。BCC语料库共有95亿字，其中口语部分有6亿字，均由爬取微博和影视字幕获得。6亿字的CCL语料库含有约150万字的口语（对话）部分、1,000万字的电视电影部分和160万字的相声小品部分。2.2 国际英语语料库和国际可比语料库“国际英语语料库”项目始于20世纪80年代末，由伦敦大学学院英语用法调查研究所Randolph Quirk的继任者Sidney Greenbaum（1988）发起，下辖澳大利 亚、巴哈马、加拿大等27支语料库建设队伍，旨在基于统一的采样框架，在英语作为官方语言的国家或地区，建设代表世界各国家、地区英语变体的多个可比语料库，并开展英语变体的共时比较研究。截至2016年，共建成英国、加拿大、爱尔兰、印度、菲律宾、牙买加等11个分库（The ICE Project 2016）共计500个2,000词的文本，库容为100万词，其中60%为口语，40%为书面语，体现了“国际英语语料库”项目对口语研究的重视。“国际英语语料库”项目的采样框架继承了“英语用法调查”项目（Quirk et al.1972）的宝贵经验，并进一步改进创新（见图1）。DiSCUSS库按照此框架进行采样（见表1），并在此基础上扩容1.67倍，使其成为百万词级的现代汉语口语语料库。“国际可比语料库”项目是采用与ICE大致相同的采样框架建设的多语种百万词级可比语料库，其中60%为口语，40%为书面语。项目下辖捷克语、芬兰语、法语、德语、爱尔兰语、意大利语等12支语料库建设队伍（ermkov et al.2021）。ICC的建立旨在同ICE的各英语变体及在ICC内各语言之间开展多语种、多语体的对比研究（Kirk&ermkov 2017）。其汉语分库ICC-CN部分由许家金教授带领的北京外国语大学语料库语言学团队负责建设。以ICE模式创建的DiSCUSS库将抽取部分语料构成ICC-CN的60%口语部分；ToRCH2019语料库（李佳蕾等 2022）的部分语料及爬取的10万词电子博客将构成ICC-CN的40%书面语部分。综上，英语口语语料库的建设总体上先于汉语口语语料库的建设。汉语口语语料库建设方面比较突出的问题是平衡语料库的缺乏。DiSCUSS库基于具有代表SJ00082939 语料库语言学 第18辑正文.indd 12923-1-10 下午6:51130DiSCUSS现代汉语平衡口语语料库的创建3 DiSCUSS库的建设概况DiSCUSS库按照ICE口语部分的构成采集样本，并将其60万词既定规模扩大到百万词级。如表1所示，DiSCUSS库共包含300个文本，1,002,538词（正则表达式：u4e00-u9fa5a-za-zA-ZA-Z0-90-9.%+），分为对话和独白两大类，以及私人、公开、脱稿、念稿四小类，并可细分为15个子类。各子类代表不同口语场景或语境，与DiSCUSS库名称中的Social Settings相呼应。表1 DiSCUSS现代汉语平衡口语语料库构成情况文本类别文本名称文本数量文本词数对话 私人当面交谈S1A-001至SlA-09090296,694电话交谈S1A-091至SlA-1001033,106图1“英语用法调查”项目语料库口语相关部分架构（待续）性和平衡性的ICE采样框架进行建设，能够在一定程度上推进现代汉语口语语料库中平衡语料库的建设步伐。SJ00082939 语料库语言学 第18辑正文.indd 13023-1-10 下午6:51131孙铭辰文本类别文本名称文本数量文本词数对话 公开课堂教学S1B-001至SlB-0202067,108媒体讨论S1B-021至SlB-0402064,915媒体采访S1B-041至SlB-0501033,320赛场辩论S1B-051至SlB-0601031,944法庭质证S1B-061至SlB-0701035,153商业交易S1B-071至SlB-0801034,618独白脱稿自发评论S2A-001至S2A-0202067,788无稿演讲S2A-021至S2A-05030106,089演示介绍S2A-051至S2A-0601033,703法庭陈述S2A-061至S2A-0701035,178念稿媒体新闻S2B-001至S2B-0202066,634媒体讲话S2B-021至S2B-0402062,887有稿演讲S2B-041至S2B-0501033,4013001,002,538DiSCUSS库中的转写文本，经过了一定的人工标注与清洗，包括标注说话人及话轮、标注部分说话人动作状态、修改错误转写内容、隐私信息处理等。DiSCUSS库中全部300个文本经过了系统清洗，并使用Jieba（https:/ DiSCUSS库的主要特点相较于以往汉语口语语料库的研制，DiSCUSS库具有多个显著特点，可广泛应用于汉语口语话语研究、汉外口语对比、汉语二语习得等领域。（续表）SJ00082939 语料库语言学 第18辑正文.indd 13123-1-10 下午6:51132DiSCUSS现代汉语平衡口语语料库的创建（1）代表性与平衡性。DiSCUSS库的建设参照国际标准，采用“国际英语语料库”口语部分的采样框架。“国际英语语料库”模式能够使DiSCUSS库在较好保证代表性与平衡性的同时，收集多种语境下的口语语料，充分体现DiSCUSS库名称中Diversified的特点，可为汉语口语话语研究，特别是汉语口语的语域变异研究提供支持，也可为汉语二语习得领域的对外汉语教学、教材设计等提供充分、真实的口语语料。（2）可比性。DiSCUSS库的精简版（56万词）将构成“国际可比语料库”汉语分库ICC-CN的口语部分，并在未来与“国际英语语料库”家族内27个英语变体语料库、家族内12个多语种语料库构成可比语料库，从而开展汉外口语对比研究。（3）丰富的元信息及标注。DiSCUSS库提供了丰富的社会文化元信息语境光谱，包括说话人性别、说话人关系、场景、主题、时间、来源等（见表2）；DiSCUSS库也在文内进行了说话人及话轮标注、词性标注（见表3）。其丰富的社会文化语境元信息、说话人标记和词性标注将会在多因素分析、语域变异、话轮结构、叙事结构等基于语料库的话语研究子领域中发挥重要作用。表2 DiSCUSS现代汉语平衡口语语料库元信息表（部分）文本编号二级编号说话人（场景、主题等）时间词数来源性别S1A-0501朱（女）、陈（男）（同学）2020年3,483康卉1男1女2采访者A、被采访者B2019年刘朝霞2女S1A-0671大哥、二哥、三哥、四哥（室友）2021年3,313康卉4男2同学A、同学B2021年康卉2女S1B-064江歌被害案之江秋莲诉刘暖曦生命权纠纷案庭审记录：审判长、审判员、原告、被告、人民陪审员2022年01年10日3,490青岛市城阳区人民法院表3 摘自DiSCUSS现代汉语平衡口语语料库的S1A-029文本说话人及话轮标注内容（分词及词性标注）刘先生：你_r 吃_v 不_d 惯_v，_x 那个_r 饭_n，_x 煮_v 来_v 你_r 也_d 吃_v 不_d 惯_v。_x刘妻：啊_zg，_x 对_p。_x赵先生：可以_c，_x 可以_c，_x 可以_c。_xSJ00082939 语料库语言学 第18辑正文.indd 13223-1-10 下午6:51133孙铭辰（4）开源性。DiSCUSS库的纯文本版、分词版和分词标注版三个版本将全文发布于“北外语料库语言学”网站官网。“共建共享，取之于用，返之为用”，是北外语料库团队一直奉行的“语料为公”理念。5 结语本文介绍了DiSCUSS现代汉语平衡口语语料库的研制背景、建设方案、主要特点及应用方向。对于DiSCUSS库的获取方式，感兴趣的读者可访问“北外语料库语言学”网站（http:/），全文免费下载DiSCUSS现代汉语平衡口语语料库，或登陆北外CQPweb多语种语料库平台（http:/114.251.154.212/cqp/；账号：test，密码：test）进行检索分析。参考文献ALEXANDRA C,ZIPPERLEN G.CALLHOME.Mandarin Chinese speech LDC96S34 DB/OL.Philadelphia:Linguistic Data Consortium,University of Pennsylvania,1996.https:/catalog.ldc.upenn.edu/LDC 96S34.BIBER D,REPPEN R,CLARK V,et al.Representing spoken language in university settings:the design and construction of the spoken component of the T2K-SWAL Corpus C/SIMPSON R,SWALES J.Corpus linguistics in North America.Ann Arbor:University of Michigan Press,2001:48-57.BIQ Y.Chinese causal sequencing and yinwei in conversation and press reportage C/BILMES L,LIANG C,OSTAPIRAT W.The proceedings of the 21st annual meeting of the Berkeley Linguistics Society.Berkeley:Berkeley Linguistics Society,1995:47-60.BURNARD L.Where did we go wrong?A retrospective look at the British National Corpus C/KETTEMANN B,MARKUS G.Teaching and learning by doing corpus analysis.Amsterdam:Rodopi,2002:51-71.ERMKOV A,JANTUNEN J,JAUHIAINEN T,et al.The International Comparable Corpus:challenges in building multilingual spoken and written comparable corpora J.Research in Corpus Linguistics,2021,9(1):89-103.CHAO Y R.A grammar of spoken Chinese M.Berkeley:University of California Press,1968.CROWDY S.The BNC spoken corpus C/LEECH G,MYERS G,THOMAS J.Spoken English on computer:transcription,mark-up and annotation.Harlow:Longman,1995:224-235.DAVIES M.The Corpus of Contemporary American English as the first reliable monitor SJ00082939 语料库语言学 第18辑正文.indd 13323-1-10 下午6:51134DiSCUSS现代汉语平衡口语语料库的创建corpus of English J.Literary and Linguistic Computing,2010,25(4):447-464.DAVIES M.The COCA corpus R/OL.(2020-03-01)2022-06-25.https:/www.english-corpora.org/coca/help/coca2020_overview.pdf.FRANCIS W N,KUERA H.Brown Corpus DB/OL.Providence:Department of Linguistics,Brown University,1964.FRIES C.The structure of English:an introduction to the construction of English sentences M.New York:Harcourt,1952.GREENBAUM S.Proposal for an International Corpus of English J.World Englishes,1988,7:315.GREENBAUM S,NELSON G.The International Corpus of English(ICE)project J.World Englishes,1996,15:3-15.KIRK J,ERMKOV A.From ICE to ICC:the new International Comparable Corpus C/BASKI P,KUPIETZ M,LNGEN H,et al.Proceedings of the workshop on challenges in the management of large corpora and big data and natural language processing(CMLC-5+BigNLP)2017 including the papers from the Web-as-Corpus(WAC-XI)guest section.Mannheim:Institut fr Deutsche Sprache,2017:7-12.LOVE R,DEMBRY C,HARDIE A,et al.The Spoken BNC2014:designing and building a spoken corpus of everyday conversations J.International Journal of Corpus Linguistics,2017,(3):319-344.QUIRK R,GREENBAUM S,LEECH G,et al.The Grammar of Contemporary English M.London:Longman,1972.SIMPSON R,LUCKA B,OVENS J.Methodological challenges of planning a spoken corpus with pedagogic outcomes C/BURNARD L,MCENERY T.Rethinking language pedagogy from a corpus perspective:papers from the third international conference on teaching and language corpora.Frankfurt:Peter Lang,2000:43-49.SINCLAIR,J.Collins COBUILD English language dictionary M.Glasgow:Collins Publishers,1989.STENSTRM A,BREIVIK L.The Bergen Corpus of London Teenager Language(COLT)J.ICAME Journal,1993,17:128.SVARTVIK J.The London-Lund Corpus of Spoken English:description and research M.Lund:Lund University Press,1990.THE ICE PROJECT.International Corpus of English EB/OL.(2016-02-09)2022-09-24.http:/ice- P,NESI H.The British Academic Spoken English(BASE)corpus project J.Language Teaching Research,2001,(3):263-264.方梅.自然口语中弱化连词的话语标记功能J.中国语文，2000（5）：459-470.SJ00082939 语料库语言学 第18辑正文.indd 13423-1-10 下午6:51135孙铭辰顾曰国.北京地区现场即席话语语料库的取样与代表性问题C/中国社会科学院，法国国家科研中心.全球化与21世纪首届“中法学术论坛”论文集.北京：社会科学文献出版社，2002：484-500.李佳蕾，孙铭辰，许家金.ToRCH2019现代汉语平衡语料库DB.北京：北京外国语大学中国外语与教育研究中心/人工智能与人类语言重点实验室，2022.宋孝才.谈“北京口语调查”J.世界汉语教学，1987（2）：25-29.许家金.汉语自然会话中话语标记“那（个）”的功能分析J.语言科学，2008（1）：49-57.许家金.青少年汉语口语中话语标记的话语功能研究M.北京：外语教学与研究出版社，2009.许家金.语料库研究学术源流考J.外语教学与研究，2017（1）：51-63.许家金.美国语料库语言学百年J.外语研究，2019（4）：1-6.荀恩东，饶高琦，肖晓悦，等.大数据背景下BCC语料库的研制J.语料库语言学，2016（1）：93-109.詹卫东，郭锐，常宝宝，等.北京大学CCL语料库的研制J.语料库语言学，2019（1）：71-86.通信地址：100089 北京市 北京外国语大学中国外语与教育研究中心/国家语言能力发展研究中心SJ00082939 语料库语言学 第18辑正文.indd 13523-1-10 下午6:51