基于多模态数据的大学生认知深度评价框架构建及应用.pdf

现代远距离教育 年第 期总第 期【基金项目】国家自然科学基金资助项目“小样本困境下的多模态协作学习情感智能识别研究”（编号：）；中央高校基本科研业务费专项资金社科重点项目“大规模在线教学服务质量测评、控制与优化研究”（编号：）；年湖北省高等学校省级教学研究项目“智能 时代成人远程教育质量保障机制研究”（编号：）。【作者简介】范福兰，博士，中南民族大学教育学院讲师，硕士生导师；李韩婷，中南民族大学教育学院硕士研究生；戚天姣，美国康考迪亚大学芝加哥分校教育学院博士研究生；梅林，博士，湖北开放大学导学中心副教授；雷雪英，中南民族大学教育学院硕士研究生。教育信息化基于多模态数据的大学生认知深度评价框架构建及应用范福兰，李韩婷，戚天姣，梅林，雷雪英（中南民族大学，湖北 武汉 ；美国康考迪亚大学芝加哥分校，伊利诺伊州 芝加哥市 ；湖北开放大学，湖北 武汉 ）【摘要】提高学生课堂认知深度是本科教育高质量发展的核心目标，如何对认知深度展开科学评价是关乎此目标达成的关键，也是深化本科课程教学改革的迫切需求。为此，首先基于经典认知深度评价理论，结合新兴多模态数据分析技术，搭建大学生认知深度多模态评价框架。其次，基于此框架开展实证研究：以 高校教育技术专业课程“学习科学与技术”为例，通过智能录播系统、在线学习平台等工具从多维学习空间采集主题讨论、自我反思、思维导图、课堂问答、头部姿势等多模态学习数据，采用机器学习方法处理并分析学习数据，综合评价学生认知深度并进行反馈。结果显示，多模态数据支持的评价更能准确地反映学生认知深度，具有显著的以评促学效能，最佳数据源是自我反思、思维导图和课堂问答。【关键词】认知深度；多模态数据；学习评价【中图分类号】【文献标识码】【文章编号】（）一、引言认知深度是学习者在理解学习材料内涵并对其进行加工过程中的心智活动和知识建构水平，包括使用认知策略和高度投入心理资源 。学习者认知深度发展过程呈现由低到高的螺旋式发展，是衡量学习与教学质量的重要指标 。高水平认知深度表现为学生积极思考，主动理解并关联知识内容，建构知识体系，在特定情境中对指定知识所产生的认知结构和思维水平的转变与迁移 。有研究表明，学生课堂认知深度与学业成绩间呈正相关关系 。然而，在当前本科课堂教学实践中存在浅层化学习的问题，主要表现为学生不主动思考、无法将已有知识迁移到新情境中解决问题 ，即认知深度处于低水平状态。因此，提升大学生认知深度是当前本科教育教学改革和促进大学生核心素养发展的第一要务。评价可为适时调整课堂学习策略提供科学依据，有助于促进深度学习。因此，探索从评价改革入手，全面检验学习效果并促进学习者认知深度达成之策是一个重要的研究问题 。当前关于认知深度的评价方式主要以问卷调查或纸笔测试为主。然而，学习者的认知过程复杂多变，主流的认知深度评价方式形成的数据较为单一，难以客观、全面地刻画动态复杂的学习状态，压制了评价对认知深度的促进作用。多模态数据技术可动态捕获、融合、分析两种及以上来源的数据，尤其是自然交互过程中产生的数据（文本、图像、音频、视频等），为复杂学习行为的客观评价和深入洞察提供技术支撑 。使用多模态数据技术进行学习分析，可获得更全面的信息，更准确地预测学习者学业成效并分析关键影响因素 。因此，多模态数据技术支持的学习分析与评价研究受到广泛关注，正逐步应用于认知深度评价领域。在经典认知深度评价理论的基础上，搭建基于多模态数据技术的大学生认知深度评价框架，并将其应用到本科课堂认知深度评价研究中，通过采集、处理与分析学习过程中的多模态数据，探明大学生认知深度多模态评价路径及评价框架的运用效果。以此，可为教师及研究者开展大学生学习评价改革、充分发挥评价对学习的促进作用提供借鉴与参考。二、文献综述（一）认知深度评价研究认知深度评价在长期研究中积累了丰富的理论基础。在评价内容方面，主要包括主动理解、关联知识、思维迁移等内容。美国研究院组织实施的 项目（：）以掌握核心学业内容、批判性思维和问题解决作为认知领域的评价内容，关注学生理解知识与迁移运用的能力 。等从分析、理解、评价、创造等维度评价认知深度，强调认知深度的动态发展 。等将认知划分为主动认知、建构性认知和互动性认知三个由浅入深的层次 。张浩等以布鲁姆认知目标分类法为参照，提出认知深度的层次包括简单描述、记忆或复制、深度理解和迁移应用 。在认知深度评价方式上以测试和问卷调查为主。等通过学习过程问卷 测量学生学习的深浅层次 。全美学生投入度调查项目 （）通过问卷测评学生的学习投入程度，评估学生认知目标达成水平 。陈蓓蕾等采用问卷和测试的方式评价大学生社会层面的深度学习水平、课程层面的认知水平和研究能力水平 。殷常鸿等构建“皮亚杰 比格斯”深度学习评价模型及其量化标准测量学生的思维及认知过程 。以上测评方式虽然可以评价认知深度，但形成的数据模态单一且主观依赖性强，在一定程度上影响了评价结果的全面性与准确性，制约了评价改进教与学的价值体现，是认知深度评价研究中的难题。（二）多模态数据支持的学习评价研究多模态数据支持的学习评价通过动态捕获学习者两种及以上来源的学习数据，并对各类数据进行融合分析，刻画全面立体的学习图景，实现对复杂学习过程的客观准确评价及深入洞察 。多模态数据支持的学习评价具有以下特性：（）动态性。研究者采用红外摄像机、智能穿戴传感器等新技术动态自动采集真实课堂教学情境中的学生肢体动作、生理行为、交互对话、作品文本等数据并自动标注 ，与认知深度的动态知识建构性相契合。（）空间多维性。物理学习空间的言语信息、面部表情、肢体动作等数据，与网络学习空间的日志数据、档案信息、鼠标点击流数据等相整合，实现对学生学习的立体评价 ，与认知深度的多学习情境迁移特性高度契合。（）高准确性。多模态数据支持的学习评价可有效提升数据分析准确性，比单模态数据高 。等通过比较分析多项多模态数据支持的学习评价研究发现，综合使用眼动、脑电和面部视频的多模态数据预测模型比任何单模态数据预测模型的准确度更高 。基于以上优势，多模态数据支持的学习评价被广泛应用。然而，由于线上数据更易存储与采集，研究者侧重线上学习数据的处理与分析来评价学生的学习状态 ，导致线下日常真实学习场景中的数据融入不够，存在片面性问题。另外，多模态数据支持的学习评价常发生在实验室环境下，通过自动录播、智能可穿戴设备等技术，完成对少量学生多模态数据的采集与分析，难以在日常课堂教学中推广使用。综上所述，科学评价认知深度是提高本科教学质量的关键。当前认知深度评价以问卷调查和测试等方式为主，形成的数据模态较为单一，存在评价结果准确性不高等问题。多模态数据支持的学习评价具有动态性、空间多维性、高准确性，为认知深度评价提供了新思路，但存在忽视线下学习数据的采集与挖掘、对学习空间和采集设备要求较高等问题，在常态化教学中运用受限。如何在常态化教学环境中动态捕获并分析学习过程中的多模态数据，继而开展大学生认知深度评价，是当前亟需解决的问题。三、基于多模态数据的大学生认知深度评价框架构建（一）评价框架构建学习者在课堂中的认知发展动态多维，涉及多方式、多空间、多主体。教育与技术深度耦合的数据采集场景分为物理空间和网络空间。物理空间面向真实教学场景，分析物理空间的学习数据可以精准刻画真实教学场景中的相关要素；网络空间指向虚拟教学场景，易于采集和存储海量学习数据，为学习评价提供重要数据支撑。因此，可以利用多种设备及工具采集多维学习空间中的多模态学习数据并进行数据挖掘分析，以精准刻画学习过程，达成对认知深度的科学评价 。田浩等采集学习过程中的文本、生理、语音和心理数据表征协作学习环境下的学习者认知投入状态 。等通过分析教学视频来定位学习者的认知状态 。李艳丽等以话语类型和特点来评价学习者认知状态 。等通过捕获学习者的身体姿势并结合测验等方式来评价学生的学习状态 。刘哲雨等指出，可以通过思维导图、评估练习题、作业作品等图片数据评估学习者的认知水平 。研究者们从理论和实践两方面为基于多模态数据评价认知深度提供了思路。基于此，在经典认知深度评价理论及多模态数据支持的学习评价研究的基础上，确定从物理空间和网络空间采集学习过程中的文本、图片、语音、视频等多模态数据来表征学习者认知深度，并按照数据所携带信息的特性对其进行筛选和汇聚，最后运用多种算法对学习数据进行分析和呈现，以评价学习者认知深度。同时，应根据不同的采集场景和研究对象合理选择采集方法，最大限度地规避单一采集方法的局限，达到增强可靠性、降低操作难度和成本、减少入侵程度的效果 。因此，在充分考虑日常教学中可利用的智能感知设备及便于采集的学习数据类型，构建常态化教学环境下基于多模态数据的大学生认知深度评价框架（如图 所示）。图 基于多模态数据的大学生认知深度评价框架评价框架包括常态化本科课堂教学、多模态学习数据采集以及多模态学习数据处理与分析三个模块。首先，在常态化本科课堂教学中，教师和学生是两类活动主体，教师常采用“线上”和“线下”两种途径开展教学，两种教学模式相结合有利于解决过度使用讲授法而导致学生学习主动性不高、认知参与度不足、不同学生的学习结果差异过大等问题。教学环境包括智能录播系统、电子白板、在线学习平台等硬件设施和软件资源。其次，开展多模态学习数据采集，借助智能录播系统、摄像机、通讯工具等设备在物理空间和网络空间两种学习场景中，按照数据模态（文本、图片、语音、视频）对多种学习数据进行采集与存储。再次，处理与分析多模态学习数据，剔除原始数据中的无效数据后进行编码，再采用机器学习方法分析编码后的数据，据此评定学生认知深度水平。最后，依据评价结果反馈改进课堂教学，促进学生认知深度发展，实现由主动理解、关联知识向思维迁移转变。（二）评价框架结构解析 认知深度粒度解析认知深度发展过程呈螺旋式上升，注重对知识的理解与建构，其最终目的是学生能灵活地迁移运用知识以理解现实世界、创造性地解决实际问题 。基于此，文章构建认知深度评价三维度模型，包括主动理解、关联知识和思维迁移，如图 所示。图 认知深度评价三维度模型主动理解是认知深度发展的基础，指学习者对当前信息简要记忆，初步领会其内涵，并未概括或总结，划分为重述和理解 。重述是对当前信息的简要记忆，并未概括和总结；理解指基本掌握当前学习内容，并初步领会其内涵。关联知识指学习者整合当前问题或信息，与原有知识建立联系，构建更高层次的知识结构，划分为抽象和重构 ，。抽象指对当前问题或信息进行抽象、概括和总结，形成低层次新概念；重构指结合新旧概念并打散重构，形成抽象层次更高的概念。学习者只有不断更新个体内部知识结构，认知深度才可能向高水平转变。思维迁移指学习者在关联知识基础上对问题全面思考，概括出抽象特征用以解决问题，并生成一般性假设在新情境中运用来拓展问题本身意义，划分为迁移和创新 ，。迁移指对概念进行升华，并能应用到其他情境中去，以解决关联问题；创新指把握学习问题的内在逻辑，能灵活运用所学知识解决新问题。多模态数据类型及其表征判断学习者认知深度需记录和表述学习过程中学习者的认知状态，有效方法是利用外显学习数据表征内隐认知过程 ，并对学习数据进行采集、处理与分析。常态化教学环境中，可通过智能录播系统、在线学习平台、录音笔等设备采集学习数据，包括主题讨论、思维导图、课堂问答、头部姿势等，依据数据模态可划分为文本、图片、语音和视频数据。基于此，探寻了不同模态的数据与认知深度评价的表征关系（如图 所示）。图 多模态数据类型及其表征文本数据与语音数据均可从学习者思考角度的多样性与全面性、知识结构的关联度与逻辑性、知识内容的迁移度与创新性等方面表征学习者认知深度，即学习者思考问题的角度全面多样、自身知识结构体系科学完整并能利用已学知识解决相似问题、懂得合理创 新 则 表 明 学 习 者 认 知 深 度 处 于 高 水 平 状态 ，。图片数据除以上三方面，还可从图片与文字的适配程度表征学习者认知深度 。视频数据从课堂专注程度和学习积极性等方面反映学习者参与知识学习的情况，间接表征学习者认知深度水平 。不同模态学习数据对认知深度表征侧重方面各有不同，但均可从主动理解、关联知识、思维迁移三个维度进行表征，来定位学习者认知深度水平。多模态数据处理与分析多模态数据处理与分析可分为三个阶段（如图 所示）。第一阶段：数据预处理。数据获取后，要对原始数据进行清洗、集成和转换，最后形成能直接编码和分析的多模态学习数据。数据清洗主要是删除原始数据中的无关数据、重复数据和噪声数据，处理缺失值和异常值等。数据往往分布在不同的数据源中，数据集成指将多个数据源合并存放在一个数据存储位置中。数据转换主要是对数据进行规范化处理，将数据转换成适当的形式，以适用于挖掘任务及算法。第二阶段：数据编码与挖掘。首先，运用卷积神经网络对视频数据进行自动编码与标注，采用人工编码方式对其他模态数据进行编码，例如文本数据中的自我反思，生成与多模态评价体系相对应的数值型和分类型数据。其次，提取多模态学习数据主特征，抽取其内部关联关系，进行降维处理。此外，为提高数图 多模态学习数据处理与分析据融合后的数据重用度，通过提取各数据源的数据共享特性进行特征级数据融合。第三阶段：数据分析与呈现。基于已有教学理论与教学研究，采用机器学习的方法和技术分析、呈现多模态学习数据，实现多视图综合评判学习者学习状态，精准定位其认知深度水平。四、实践应用本实验以武汉市 高校教育技术专业课程“学习科学与技术”教学为例，实施基于多模态数据的大学生认知深度评价框架，以期从实践层面为常态化教学环境下的大学生认知深度评价提供借鉴。该课程采用“线上”和“线下”两种方式开展教学活动，其中课堂教学共 周，每周 课时，共 课时。（一）实验被试以武汉市 高校 学年第二学期教育技术专业课程期末考试平均成绩为检验数据，进行独立样本 检验，选取成绩不存在显著差异且人数相同（人）的两个本科班级的学生参加本次实验，将 班作为实验组，将 班作为对照组。（二）实验设计实验依托 高校教育技术专业课程“学习科学与技术”，教学内容涉及线下智慧教室中的理论教学和实践活动、“超星学习通”在线学习平台支持的线上学习等。实验组和对照组除认知深度评价实施策略不同，授课教师、教学内容及教学过程等方面均相同。实验过程如图 所示。图 实验过程实验组采集与分析学习过程中产生的多种模态学习数据，以此评价学生认知深度，包括主题讨论、自我反思、课堂问答、课堂讨论、电子海报、思维导图、头部姿势、手部动作等八种学习数据源。对照组采用问卷调查评价学生认知深度。依托前期研究构建的大学生混合式学习评价框架，确定本次实验中实验组与对照组均以线下学习数据、线上学习数据、学习绩效三个维度评价学生的学业成效。其中，线下学习数据主要为学生在智慧教室课堂中的学习数据，包括学生课堂出勤、位置、注意力、学习笔记、无效听课、互动情况等；线上学习数据主要包括视频学习时长、任务完成率、自学提问、话题讨论、章节学习情况等；学习绩效主要包括课程实践成绩、综合表现成绩和期末测试成绩。（三）实验过程 数据采集在数据采集中，利用智慧课堂智能录播系统、摄像机、录音笔、移动终端和“超星学习通”平台收集学生多模态学习数据（采集过程如图 所示），包括文本数据（主题讨论、自我反思）、图片数据（电子海报、思维导图）、语音数据（课堂问答、课堂讨论）和视频数据（头部姿势、手部动作）。数据处理与编码对教学过程中采集的学习数据进行如下处理：第一，对数据进行匿名化和清洗，删除不完整的行为数据，保证样本数据的完整性与有效性；第二，在原始文本、图片、音频、视频数据中提取学生学习数据并进行编码（如表 所示），形成结构化认知深度数据；第三，提取数据主特征，采用特征级数据融合方法进行多模态数据融合；第四，使用机器学习的方法与技术来分析学生认知深度数据，依据数据分析结果精准评价学生认知深度水平。图 数据采集过程表 数据编码数据模态数据源编码维度主动理解关联知识思维迁移文本数据主题讨论提出至少一个相关且符合逻辑的观点能联系多方信息并综合运用提出主张能理解概括问题，从多角度思考问题，得出有价值的开放性结论自我反思主动回顾反思学习的知识等，拥有反思的态度及意识根据现有和以往学习经历，从多方面进行反思，并相互融合以分析问题对现有问题的解决形成“新”的知识概念，并预测同样或类似问题情境，找到策略及解决方法图片数据电子海报内容呈现的信息单一，海报样式简单，图文不匹配收集的信息全面，并建立一定联系形成一致的结构，图文相互匹配信息非常全面，在建立联系的基础上加入自己的思考和想法，图文相得益彰，版面设计美观思维导图知识整理线索少，关系少且简单知识整理线索多，关系复杂多样知识整理线索多，形成有机整体，且有自己的想法和设计语音数据课堂问答回答问题角度片面单一从多角度联系新旧知识回答问题综合运用已学知识回答问题，并提出自己的想法和思考课堂讨论主动参与讨论并提出观点提出观点并综合知识与信息论证观点根据讨论的实际情况，灵活处理，提出创造性观点并进行论证视频数据头部姿势课堂学习中，与其他学习者交流时点头的次数手部动作课堂学习中，与其他学习者交流时辅助性手部动作出现的次数五、应用效果（一）基于多模态数据的评价框架能更准确评价大学生认知深度水平采用线性回归、近邻回归、岭回归、决策树等九种回归分析算法，检测多模态数据和单模态数据对学业成效的预测情况（如表 所示）。结果显示，在九种回归分析算法中，多模态数据各项参数均低于单模态，表明多模态数据对学业成效的预测性能优于单模态，即多模态学习数据能更准确评价学生认知深度水平，可见基于多模态数据的大学生认知深度评价框架具有较高的准确性。相较于单模态数据，多模态数据对学习者认知深度水平评价更为准确。多模态数据支持的学习评价，将学习者学习过程中的“宏观”和“微观”学习数据进行收集、处理和分析，涵盖文本、图片、音频、视频等多种数据模态，能更好映射学习者学习特征，有助于对动态复杂的认知深度进行精准全面地评价，并帮助研究人员或教师设计更优的干预策略与学习内容。已有研究也证实，多模态数据支持的学习评价能从多个维度全面地采集、记录和存储真实教学情境数据，实现对学习者学习状态的精准评估。例如，吴军其等研究发现，基于多模态数据表征的智慧课堂协作学习投入度分析模型能较全面地挖掘影响学生投入度的相关因素，科学客观评价学生协作学习的投入状态 。张琪等构建的“全景”与“精细”数据收集和分析模型，可揭示特定学习活动中学习者的轨迹，实现对复杂的认知能力的全面评估，有助于弥合“评价反馈”的不对称性 。表 多模态数据和单模态数据对学业成效的回归分析分类算法均方对数误差平均绝对百分比误差平均泊松偏差平均伽玛偏差多模态单模态多模态单模态多模态单模态多模态单模态线性回归 近邻回归 岭回归 决策树 极端随机森林 随机森林 梯度提升树 注：均方对数误差、平均绝对百分比误差、平均泊松偏差、平均伽玛偏差的值越小，效果越好。（二）基于多模态数据的大学生认知深度评价框架具有显著的以评促学效能为检验基于多模态数据的大学生认知深度评价框架对学生学业成效的影响，将大学生混合式学习评价框架的线下学习数据、线上学习数据和学习绩效三个维度的综合分数作为衡量学业成效的指标，将实验组和对照组的分数进行独立样本 检验，结果如表 所示。表 学业成效的差异性检验结果实验组对照组均值标准差均值标准差 值值学业成效 注：。由表 可知，在两组学业成效比较中，两组学业成效存在显著差异，实验组学业成效均值显著高于对照组（均值 ，值 ），表明实验组学生认知深度水平高于对照组，由此可见，基于多模态数据的大学生认知深度评价框架具有显著的以评促学效能。实施基于多模态数据的大学生认知深度评价框架能帮助教师全面精准地评估学生认知深度水平，基于此，教师可以及时采取相应措施调整教学活动，帮助学生深入掌握和理解知识内容、增强学习专注度并提高学习兴趣，从而有效提高学业成效。因此，基于多模态数据的大学生认知深度评价框架在使用得当的情况下可以实现以评促学功能。（三）大学生认知深度评价的最佳数据源是自我反思、思维导图和课堂问答文章采用极端随机森林、决策树、随机森林等回归算法，评估多模态学习数据各项数据源对认知深度的评价性能（综合分析结果如图 所示）。根据数据源重要性数值大小，自我反思、思维导图和课堂问答是评价大学生认知深度的最佳数据源。深入挖掘分析多模态数据中各项数据源，发现自我反思、思维导图和课堂问答评价认知深度的性能最强。已有研究也提出，自我反思、思维导图、课堂问答能准确客观地反映学生学习水平。例如，徐玲玲等提出自我反思作为评价方法能公正地反映每位学生的学习水平 。刘志华等研究发现，对学生思维导图进行分析评价，不仅可以掌握和判断学生的学习情况，更能够帮助学生梳理知识间内在逻辑关系构建知识网络 。陆雨薇等设计一种以“问答挑战”为主要手段的课程成绩评定体系，该体系能准确判断学生学习情况，并有效激励学生积极参与课堂讨论和课后自主学习，能够提高教学效果 。在教学过程中，教师通过监测多模态数据来评判与施测学生的认知深度和学习状态。自我反思可以帮助学生清晰地认识到自身的优势与不足，从而有针对性地调整后续学习计划。思维导图在学生建立知识结构方面起重要作用，可通过强化记忆、加强新旧知识联系快速建立新的知识结构体系。课堂问答能有效提高学生课堂专注度，提升学习效率。鉴于此，评价者可从上述数据源及时获取学生认知深度信息，从多模态学习数据科学评判学生认知深度水平，从而准确地实施教学策略，提供个性化教学干预。图 重要性数值分析六、结语科学评价大学生认知深度水平是提高教学质量与学习效率的关键。然而已有研究中，有的侧重于以问卷和测试等方式开展认知深度评价，数据模态单一制约了评价结果的准确性；有的发生在实验室环境下，通过智能式穿戴设备完成对少量学生多模态数据的采集与分析，难以在常态化教学中推广使用。基于此，依托大学生课堂学习场景存在的多模态学习数据，搭建基于多模态数据的大学生认知深度评价框架，并将其应用于本科实际教学活动中开展实验研究，以检验其评价效果。研究结果表明，相较于单模态数据，基于多模态数据的大学生认知深度评价准确率更高；基于多模态数据的大学生认知深度评价框架具有以评促学效能；自我反思、思维导图和课堂问答是评价大学生认知深度的最佳数据源。本研究团队提出的认知深度评价框架是以智慧教室、在线学习平台、移动学习设备等日常教育技术为支撑，实现对学习数据的全面采集与深入分析，研究成果易于在常态化教学中借鉴和推广。在多模态数据分析基础上探寻学习过程中的认知现象，能提高认知深度评价的准确性、及时性与全面性，为研究者和教师提供了认知深度评价的新思路和新方法，同时也为教师在教学过程中进行教学干预提供了科学依据。但由于研究样本较小，导致无法使用精度更高的深度学习方法。后期研究将以认知深度理论为指导，关注多模态数据挖掘技术与特征提取方法，进一步探索深度学习中的小样本学习方法，深入研究基于多模态数据的大学生认知深度评价框架与体系，更为全面精准地评价学生认知深度。【参考文献】，：，（）：，：，（）：张思，何晶铭，上超望，等 面向在线学习协同知识建构的认知投入分析模型及应用 远程教育杂志，（）：，：，（）：，：，：殷常鸿，张义兵，高伟，等“皮亚杰比格斯”深度学习评价模型构建 电化教育研究，（）：刘丽丽，李静 理解视角下的深度学习研究 当代教育科学，（）：，（）：，：，（）：姜波 大学语文教学的现状及对策探析 汉字文化，（）：李洋洋 知识视角下的深度学习：意涵阐释、现实阻隔与进阶之路 中国远程教育，（）：郑东辉 促进深度学习的课堂评价：内涵与路径 课程 教材 教法，（）：，（）：，：？，（）：卜彩丽，冯晓晓，张宝辉 深度学习的概念、策略、效果及其启示 美国深度学习项目（）的解读与分析 远程教育杂志，（）：，：，（）：，（）：张浩，吴秀娟，王静 深度学习的目标与评价体系构建 中国电化教育，（）：，?：?，（）：，（）：陈蓓蕾，张屹，杨兵，等 智慧教室中的教学交互促进大学生深度学习研究 电化教育研究，（）：汪维富，毛美娟 多模态学习分析：理解与评价真实学习的新路向 电化教育研究，（）：，（）：，（）：，（）：，（）：张琪，武法提，许文静 多模态数据支持的学习投入评测：现状、启示与研究趋向 远程教育杂志，（）：牟智佳 多模态学习分析：学习分析研究新生长点 电化教育研究，（）：，：，（）：，（），（）：，：，：，（）：顾小清，王超 打开技术创新课堂教学的新窗：刻画 课堂应用场景 现代远程教育研究，（）：，（）：田浩，武法提 混合场景下协作认知投入的多模态表征与分析路径研究 远程教育杂志，（）：，？，（）：李艳燕，彭禹，康佳，等 在线协作学习中小组学习投入的分析模型构建及应用 中国远程教育，（）：，（）：刘哲雨，郝晓鑫，王红，等 学习科学视角下深度学习的多模态研究 现代教育技术，（）：李新，李艳燕，包昊罡，等 学习投入测评新发展：从单维分析到多模态融合 电化教育研究，（）：肖龙海，陆叶丰 智慧课堂的高阶思维评价研究 现代教育技术，（）：李新，李艳燕 协作学习情境中学习投入数字化表征模型的构建与应用 中国远程教育，（）：，：，（）：，（），：，马云飞，郑旭东，赵冉，等 深度学习的发生机制与多模态数据测评研究 远程教育杂志，（）：杜智涛 网络知识社区中用户“知识化”行为影响因素 基于知识贡献与知识获取两个视角 图书情报知识，（）：，（）：张沿沿，冯友梅，顾建军，等 从知识结构与思维结构看思维评价 基于皮亚杰发生认识论知识观的演绎 电化教育研究，（）：，：，（）：，：，（）：吴军其，吴飞燕，张萌萌，等 多模态视域下智慧课堂协作学习投入度分析模型构建及应用 电化教育研究，（）：徐玲玲，刘徽，曹琦 评价连续体：大概念教学的评价设计 上海教育科研，（）：刘志华，李佳 分类理论在二维评价化学思维导图中的应用 化学教学，（）：陆雨薇，徐武彬 提高大学生学习积极性为目标的课程成绩评价体系设计初探 轻工科技，（）：