前沿领域

当前位置：首页 - 质量管理 - 理论研究 - 前沿领域 - 正文

多模态学习情感计算：动因、框架与建议

发布时间：2022-03-01 点击数量：

多模态学习情感计算：动因、框架与建议

MOOC 2022-03-01 06:00

摘要学习情感是影响学生认知加工与学习效果的重要因素，如何利用多模态数据开展学习情感计算是当前亟待解决的问题。文章在分析情感计算源起与多模态数据融合的基础上，阐述了多模态情感计算的发展动因，构建了多模态学习情感计算的研究框架，包括以教育场景为导向采集情感数据、依据情感模型展开建模与识别、利用可视化方式表达与反馈情感、结合情感归因来干预与调节学习过程等。基于现有研究案例，将多模态学习情感计算的应用归纳为开发学习情感识别系统、增强智能学习工具、支持学习干预与决策、探索学习情感的作用机制等方面。未来多模态学习情感计算应平衡数据采集侵入性与真实性、提升数据模型可解释性、综合衡量学习状态以及拓展教育应用探索与创新。

关键词：情感计算; 多模态; 人工智能; 学习情感; 学习分析

1

引言

多模态学习情感计算：动因、框架与建议

人类情感与认知加工紧密关联，对记忆、注意、思维等过程起调节作用，可以显著影响学习结果[1]。当前人工智能与教育深度融合，赋予教学创新与教育变革前所未有的历史机遇，但同时给学生社会情感学习带来冲击[2]，情感教育与情感交互的需求日益凸显。此外，智能教育要实现全面感知和分析学习过程，情感是不可忽视的重要因素。而情感计算通过计算机系统识别、推理与表达人类情感[3]，是感知与理解学习情感、增强情感交互、促进人机协同的重要途径，也是当前教育研究较为活跃的前沿领域。

教育智能时代，多模态数据与机器学习融合有助于理解和分析复杂的学习现象，比单一数据源更能深入刻画学习者的相关学习行为[4]。从这个意义上讲，多模态数据已成为学习分析的必要条件与发展趋势[5]。学习情感作为学习分析的重要维度，如何利用多模态数据开展情感计算，以实现教学过程中对学习情感的准确评估与跟踪反馈是当下亟待解决的问题。基于此，文章聚焦于多模态学习情感计算，从动因、研究框架、应用案例与发展建议四个模块，探讨多模态数据赋能情感计算的方法与趋势，为学习情感的相关研究与实践提供参考与借鉴。

2

多模态学习情感计算及其动因

多模态学习情感计算：动因、框架与建议

(一)情感计算的源起

在教育领域中，情感分析研究肇始于20世纪30年代，研究对象集中于学习过程中的焦虑情绪[6]。这期间形成了分析焦虑情绪的相关方法与理论，比如考试成就焦虑的心理学分析方法、成就动机理论等。经过半个多世纪的发展，情绪动机的学习研究引起了教育领域的关注，随后学界逐步拓展与学习过程相关的情感研究。1997年皮卡德教授的标志性著作《情感计算》正式出版[3]，直接推动了情感计算的发展及其在各领域的应用。相关研究聚焦于用技术实现情感的检测、识别与反馈，试图在计算机与人类情感间建立联系，以促进人与工具间的情感交互。然而，受限于当时的技术条件等各方面因素，情感计算教育应用并未引起广泛关注。

迈入21世纪，在智能技术与教育神经科学推动下，学习情感计算的相关研究与应用呈现快速发展态势。国际学术界加强学习情感与认知过程的关系探索，并继承与创新已有学习理论，形成了多媒体学习的认知情感理论(CATLM)与成就情绪的控制—价值理论(CVT)。认知情感理论认为，多媒体学习材料的情绪设计能影响学习者的认知加工、态度和动机，同时学习者自身特征也是影响多媒体学习情感的重要因素[7]。而控制—价值理论阐述了学习过程中所经历情绪的前因与结果，能作为技术赋能环境下学习情感研究的元理论[6]。可以说，上述理论进一步推动了情感计算在教育领域的发展与应用，为后续相关研究提供了理论指导。

进入2010年后，情感计算被广泛应用于教育领域[1]，期间各类学习系统利用情感计算技术发展起来，代表性的有情感导学系统(ATS)。该类系统通过采集学习者面部、语音等数据，利用机器学习算法分析与处理情感信息，以识别与反馈情感状态，进而为学习者提供个性化导学策略。此外，学习情感计算也从单模态走向多模态数据融合，其中，深度学习、便携式传感技术以及多模态学习分析起到了主要助推作用。

(二)多模态学习情感计算概述

模态是属于身体或情境中一种可衡量的属性，其数据获取与传递是以信号通道的方式实现，如麦克风可以对声音(信号通道)进行采样以检测语音(模态)，而多模态是将多信号通道的数据进行融合[8-9]。在教育领域中，将多模态数据应用于教育研究更符合人类交流的本质，满足了跨物理与网络环境下的建模需求，且新兴技术的发展为教育数据采集与处理提供了基础[8]。结合机器学习算法与丰富的学习数据，多模态分析有助于在各类环境下对学习行为映射的多层次信息进行推理与诊断，其中最突出的用途之一是预测学习情感[10]。一项元分析显示，基于多模态数据的情感识别效果优于单模态数据，其平均准确度提升了9.83%[11]，因而利用多模态数据表征学习情感已成为情感计算领域的发展趋势。

多模态学习情感计算是通过采集多模态数据，利用数据融合与建模方法整合多通道情感信息，发现学习过程中真实的情感变化过程，帮助研究者与实践者理解复杂的学习行为，是突破教育发展瓶颈与优化学习理论的重要途径。当前，多模态情感测量涉及心理、行为和生理层面，涵盖文本、语音、面部表情、身体姿态、生理信息等数据维度。其中，心理测量是运用自我报告的方式获取学习者主观的情感体验;行为测量是利用摄像机、麦克风、鼠标、键盘等工具采集相关数据来分析学习情感状态;而生理测量则是采用传感器捕捉学习者生理反应。通过采用多模态数据融合算法，将多通道信息融合实现对学习情感的识别，在此基础上进行情感反馈与学习干预。

(三)多模态学习情感计算的发展动因

在过去较长时期内，教育研究常用自我报告或行为观察的方式来测量学习情感，但分析结果存在主观不确定性且准确率不高。随着传感技术与人工智能的融合应用，通过采集多模态数据来客观挖掘学习情感已成为教育研究的发展方向。当前，传感设备日趋微型化、智能化、集成化[12]，极大地提升了数据收集的便捷性。将传感设备应用于教育研究中，可以实时采集学习过程中的生理数据，包括脑电、皮肤电、肌电、心率、血氧等，这为多模态情感计算提供了更多的数据通道。同时，面对大规模的多源异构数据，深度学习算法为数据处理与分析提供了技术支持。通过特征选择、数据建模与融合策略，进一步提升多模态情感数据的识别性能。换言之，深度学习与传感技术的发展是促进多模态学习情感计算发展的外部动因。

20世纪，受笛卡尔的身心二元论影响，学者常忽视了学习情感在认知加工中的调节作用[13]，导致教育研究陷入“重认知轻情感”的现实局面。近年来，学界逐步认识到学习情感的重要价值，并呼吁关注学习情感与优化学习理论[14]。在技术赋能学习环境下，学习情感显著影响学生的学习投入、认知加工、学习结果等方面。例如在多媒体环境中，学习材料的情绪设计可以提高学习投入，有助于学习者的深层次加工[15]。在教育神经科学研究中，利用功能性磁共振成像(FMRI)发现情绪反应是通过激活杏仁核来增强记忆能力[16]，进一步证实了学习情感与认知加工存在紧密联系。在学习结果方面，情感是影响学习的关键因素，尤其在学习决策、反思等方面起着重要作用[17]。因此，为进一步探寻学习情感在学习过程中的作用机制，真实学习环境下可靠的情感识别方法至关重要，而多模态情感计算为教育研究中的情感识别提供了有力工具与方法。可以说，学习情感的潜在作用是推动多模态情感计算发展的内在动因。

3

多模态学习情感计算的研究框架

多模态学习情感计算：动因、框架与建议

多模态数据分析遵循数据发现、数据融合、数据利用三个关键步骤，涉及数据采集与标注、数据准备、数据组织、数据整合、数据分析、可视化、决策七个主要过程[18]。作为多模态数据分析的应用领域，多模态学习情感计算同样遵循此过程。本研究在继承情感计算研究框架[19]的基础上，结合多模态数据分析过程，并参考多模态学习分析的概念模型[8]，构建了多模态学习情感计算的研究框架(如图1所示)。该框架以教育场景为中心，利用相关工具采集多模态情感数据，根据情感模型识别情感状态，并以可视化方式反馈情感信息，进而提供学习干预与服务。

(一)以教育场景为导向，采集多模态情感数据

在智能技术驱动下，情感计算已由在线场景逐步转向课堂情境，呈现多元化应用的趋势[20]。不同教育场景中，情感数据采集的方式有所差别。根据语言与非语言表达方式，结合教育研究中常用的传感设备，多模态情感数据涉及文本、语音、图像与生理层面。文本信息可以从论坛、社交平台、测验等途径获取，并利用情感分析方法[21]挖掘潜在的观点与情感倾向;语音数据能展现教学情境下学生自然流畅的内容表达，通过分析声学、语言、上下文信息等特征来获取语音情感信息;图像识别技术应用于面部表情、身体姿态、手势等维度分析，是多模态分析中常用的方法，其数据来源是利用摄像头采集学习过程数据;生理数据主要来源于心脏、大脑和皮肤，借助传感设备采集心率、脑电、皮肤电等信息，获取身体受到生理刺激时的情绪反应。

在多模态情感数据采集过程中，相关数据可以源自学习行为，也可以从学习环境中提取。比如学习过程中学生面部朝向、身体位置、注视方向等。数据采集过程需要确定合适的传感设备与工具，以捕获特定学习场景中选定的模态信息，并设计用于序列化多个传感器数据流的软件体系结构。

(二)依据情感模型，建模与识别情感状态

情感生成于人与环境的相互作用过程，反映在多个维度的变化(神经生物学变化、生理反应、肢体表达、行为趋向等)中，并且受个体差异(如情感特质)的调节。在情感信息采集的基础上，通过数据标注与分类，实现多模态学习情感识别，其过程如图2所示。从数据表征的角度看，学习情感标签可以是数值区间或离散范畴，这取决于所采纳的情感模型。常用的情感模型有基本情感、维度情感与学业情感。一般而言，数据标注有专家观察、学习者自我报告两种方法，每种方法都存在各自的优点与不足，并且都受到主观偏见的影响。专家观察可以不影响学习进程，但成本高、难组织;而自我报告会产生不平衡的情感类别分布，意味着需要压缩采样(Down-sampling)，可能会造成数据丢失[22]，但该方法即时报告的数据比回顾评估数据的可信度要高[23]。

从人工标注的学习标签中建立数据模型，需要考虑情感特征、数据融合、情感预测与结果验证。由于多模态数据中并非所有特征对机器学习都有意义，特征选择与提取是降低数据噪音、提高数据质量的重要途径，其方法有主成分分析、随机深林、贝叶斯方法等;在数据融合阶段，需要对不同模态信息进行整合，其策略包括特征融合、决策融合、模型融合等;在此基础上，运用分类算法预测学习情感结果;最后验证阶段，将预测结果与人工标注结果进行比较，以调整与优化训练参数，进而确定所建立的数据模型，便于后续新的原始数据的分析与处理。

(三)可视化表达与反馈学习情感

由于学习是极为复杂的过程，涉及情感、认知等层面，以可视化方式表达学习情感有助于研究者理解情感与认知的演化机制。对于学习者而言，可视化反馈能促进与学习系统的情感交互，提升系统交互友好性与学习体验，弥合“情感缺失”的局限;同时，情感表达能对学习心理进行调整与优化，实现对学习过程的自我监督、调控与反省;可视化情感还能培养个体的情感技能，尤其在自闭症儿童的情感教育中具有无法比拟的价值潜能。

当前，学习情感可从虚拟与实体两个层面实现可视化表达与反馈。虚拟层面主要以仪表盘与拟人表情的方式呈现。仪表盘是采用图示和文本将情感动态变化过程呈现出来，帮助教师全面了解学习过程;拟人表情通过模拟学习过程中的面部表情，以拟人方式实时表达情感状态，能激发学生的学习兴趣与热情。在实体层面，教育机器人将多模态情感信息以语音和机器人表情的方式进行反馈，以促进儿童与机器人的情感交互[24]。总的来说，情感的可视化表达与反馈，架起了机器学习、情感计算与学习科学的桥梁，帮助人类理解复杂的学习过程。

(四)结合情感归因，动态干预与调节学习过程

理解特定情感状态的触发原因，对于提供精准的干预措施至关重要，而在情感状态与潜在原因不匹配的情况下提供学习干预是无效的，甚至可能起负面作用[25]。换句话说，理解与明确引发学习情感的潜在原因，对提供学习干预措施极为关键。一般而言，如果学习者能管理好自身的消极情感状态，其学习效果会显著提升[26]。因而，干预与调节学习者的消极情感，以帮助提升学习效率与学习表现，是当前研究关注的重要问题。

依据控制—价值理论，学习过程中涉及的消极情感有焦虑、沮丧、困惑、无聊等，其情感归因包括学习任务、学习结果、个体特征与学习环境四个层面[14]。同时，该理论也提供了情感调节的常见要素，例如任务难度、先前知识、认知支持(内容提示、同伴帮助、教师辅导)、学习材料情绪设计、任务质量、归因反馈等[6]。基于此，本研究设计了面向消极情感的学习干预机制(如图3所示)。该机制以调节学习者消极情感为主要目标，通过情感归因的方法理解消极情感的触发因素，在此基础上运用干预引擎匹配和选择合适的干预策略，实现动态调节学习情感与学习行为。

4

多模态学习情感计算的典型应用

多模态学习情感计算：动因、框架与建议

(一)开发学习情感识别系统

学习情感识别是多模态情感计算教育应用的基础，依据不同测量通道与应用场景开发情感识别系统，能够实现学习情感的客观准确识别。在数字化学习环境中，Ray等人设计并开发了多模态学习情感识别系统[27]。该系统利用传感器和摄像头采集生理信号(心率、皮肤电、血压)与面部表情，运用人工神经网络模型与决策级融合策略对六种学习情感进行识别。数据分析显示，该系统的情感识别准确度达71.38%。随着深度学习技术的快速发展，课堂环境下的多模态情感识别成为研究新趋向。Ashwin等人通过摄像头采集学生的面部表情、手势与身体姿态数据，利用卷积神经网络算法与特征融合策略，实现对投入、无聊和中立三种情感状态的自动识别[28]。结果发现，真实课堂环境下学习情感识别的准确度达70%。上述研究表明，基于多模态数据的学习情感识别系统具有良好的应用前景，但其情感识别的准确度有待提升。

(二)增强智能学习工具

将多模态情感计算以模块化的方式嵌入学习系统中，可以增强系统的情感感知能力，进一步提升学习体验与优化学习交互。在自适应学习系统中，Lin等人整合面部表情、语义信息与皮肤电信号来提升系统的情感识别能力，并以学习仪表盘的方式呈现情感分析结果，帮助教师及时掌握学习状态与调整教学策略[29]。薛耀锋等人采集在线学习过程中面部表情、文本和语音信息，来赋能在线学习平台的情感识别能力[30]。而在教育机器人中，通过采集儿童与机器人交互过程中的语言信息(文本、语音)与非语言信息(面部表情、身体位置、头部姿态)，以实现对儿童学习情感状态的自动分析，可提升儿童与机器人之间的学习交互体验[24]。可以说，多模态情感计算在赋能自适应学习系统、在线学习平台、教育机器人等方面具有可观的应用潜能。

(三)支持学习干预与决策

基于学习成绩或学习行为展开教学干预存在一定局限，诸多研究尝试从情感角度进行学习干预。Ashwin等人通过采集学生的面部表情、手势和身体姿态来分析与预测学生的情感状态，在此基础上实现学习干预[31]。将该方法应用于在线学习、翻转教学、课堂教学以及网络研讨中，发现所提出的干预策略提高了学生学习成绩，并且无聊情感分别下降65%、43%、43%与53%。Standen等人利用多模态情感计算实现对投入、挫折与无聊情感状态的自动分析，在此基础上向学习者推荐学习内容，来保持学习者最优的情感状态以最大限度提升学习效率[32]。结果表明，结合学习情感的内容推荐会提升学生学习投入，有助于学习者保持良好的学习状态，但对学习成绩的影响还有待证明。类似的，也有研究尝试探讨基于学习情感来制定与选择教学策略[33]。总的来说，研究人员逐步意识到学习干预与教学决策中结合学习情感的必要性。

(四)探索学习情感的作用机制

近年来，学习理论与实践的重大转变是充分融合认知与学习情感，并积极探索情感在学习过程中的作用机制。Bahreini等人在教育游戏中通过识别面部与语音信号向玩家反馈情感信息，以训练和提升学习者的社交沟通能力[34]。研究发现，游戏过程中情感的自动反馈可以提升学习者的社交沟通能力。另外，Wang 等人利用所开发的多模态情感导学系统，分析情感因素对学习者的交互满意度与学习表现的影响[35]。结果表明，该系统通过提供情感感知与反馈提升了学生学习效果与满意度。该研究还指出，情感计算教育应用能提升学生学习兴趣与保持积极学习态度，并有望得到广泛应用。上述研究表明，情感感知与反馈对促进学生学习具有积极作用。而最近一项研究证实，学习情感与学习表现间存在正相关关系，且相关系数为0.74[31]。然而，学习情感与认知过程的演化机制还缺乏探讨，后续相关研究可围绕该主题进行探索。

5

多模态学习情感计算的发展建议

多模态学习情感计算：动因、框架与建议

(一)降低数据采集的侵入性，平衡数据真实性与准确性

情感数据采集需要借助相关工具或设备，如视频监控、生理感知设备等。有调查显示，大部分学生认为课堂环境下应用监控设备是对隐私的侵犯[36];而生理信息采集需要特定传感设备的支持，其侵入性较大，难以保证数据的真实性[20]。可以说，相关设备的介入会引发学生的不适应，降低学习者的思维活跃度，数据真实性与准确性难以平衡，进而影响研究结果的可靠性[37]。在教育研究中，多模态情感数据采集应结合轻量型传感设备，进行伴随式采集多通道信息，将设备引发的干扰降到最低，力求情感数据的真实性。同时借助自我报告或专家观察的方式，收集学习过程中的质性数据，进一步增强分析结果的准确性。对于教育装备服务商而言，应加大轻量型传感设备的研发，以优化情感数据采集的设备与产品。

(二)提升数据模型可解释性，促进学习情感归因

由于多模态数据固有的特殊性，研究人员在处理与分析情感数据时常用到机器学习算法。而算法本身存在“黑箱”，即输入多模态情感数据，输出是学习情感类别，研究者无法检视算法模型是如何完成工作的，这也意味着模型的可解释度不高。因而，无法确定何种因素是激活消极情感的主导因素，给情感归因造成一定困难。针对上述问题，相关研究也不断探索提升数据模型可解释性的方法。其中，教育领域常用的解决方案是“灰盒”方法[10]。该方法认为，首先应根据相关理论与文献分析来确定所要提取的特征，然后利用机器学习进行必要的计算分析，期间严格遵循机器学习的应用边界，从而避免无法解释情感分析结果的局面。换句话说，“灰盒”方法旨在帮助研究人员找到最优手段(算法)，而非最优目标(输出)。目前“灰盒”方法已在多模态学习分析中展现出可观的应用潜力，未来研究可将此方法应用于多模态情感计算中，以降低学习情感归因的难度。

(三)综合衡量学习状态，增强学习干预精准性

情感支持的学习干预对学习结果有重要影响。然而，仅从学习情感的角度进行干预，没有建立学习情感与个体特征、学习行为等层面关联，导致无法全面感知学习者的学习状态，势必会影响学习干预的精准性。换句话说，学习情感是学习干预的必要不充分因素，还需综合衡量学习过程中的其他因素。未来研究一方面要将学习情感与可观测、可干预的个体特征结合，如认知能力、认知结构、学习态度等[38];另一方面需同步情感数据与学习行为数据，构建完整的“数据链条”。以此突破情感或学习行为的单一视角，从多方面综合考虑学习干预措施，以提升干预的精准性。

(四)拓展教育应用探索，推动情感计算实践创新

情感计算教育应用是为解决在线学习中“情感缺失”而发展起来，其应用集中于在线教育场景中。在多模态分析的推动下，学习情感计算的实践探索逐步从在线环境转向课堂环境。但受“路灯效应”影响，多模态情感计算的应用情境仍然较为局限，其广泛应用还存在一定距离。为满足情感计算在多元场景中的应用需求，未来研究应尝试物理情境、混合环境下情感数据的采集与分析，通过线上行为数据与线下情感信息结合，全面感知与持续跟踪学习者的学习状态。另外，多模态分析也适用于监测和分析儿童的情感反应与行为模式[39]，且儿童比成人更倾向于情感表达[40]，因而相关研究可探索低年龄段学习者的情感状态，以充分理解学习行为的发生机制，为教育改革与创新提供有效参考。

6

结语

多模态学习情感计算：动因、框架与建议

总的来说，本研究从智能技术发展与学习情感的内在价值出发，阐述了多模态学习情感计算的发展动因，并根据多模态数据分析过程，构建了多模态学习情感计算的研究框架，为综合分析学习情感与评估学习过程提供了方向与思路。然而，我国多模态学习情感计算尚处于起步阶段，相关研究与实践探索任重道远。不过，随着人工智能与教育的深度融合，多模态学习情感计算势必会成为推动智能教育发展的中坚力量。

参考文献：

[1] WU C， HUANG Y， HWANG J. Review of affective computing in education/learning：trends and challenges[J]. British journal of educational technology， 2016， 47(6)：1304-1323.

[2] 李泽林，陈虹琴.人工智能对教学的解放与奴役——兼论教学发展的现代性危机[J].电化教育研究，2020，41(1)：115-121.

[3] PICARD R W. Affective computing[M]. Cambridge：MIT Press， 1997.

[4] GIANNAKOS M N， SHARMA K， PAPPAS I O， et al. Multimodal data as a means to understand the learning experience[J]. International journal of information management， 2019(48)：108-119.

[5] 张琪，王红梅.学习投入的多模态数据表征：支撑理论、研究框架与关键技术[J].电化教育研究，2019，40(12)：21-28.

[6] LODERER K， PEKRUN R， LESTER J C. Beyond cold technology：a systematic review and meta-analysis on emotions in technology-based learning environments[J]. Learning and instruction， 2020(70)：1-15.

[7] MORENO R. Does the modality principle hold for different media? a test of the method-affects-learning hypothesis：modality principle[J]. Journal of computer assisted learning， 2006， 22(3)：149-158.

[8] DI MITRI D， SCHNEIDER J， SPECHT M， et al. From signals to knowledge：a conceptual model for multimodal learning analytics[J]. Journal of computer assisted learning， 2018， 34(4)：338-349.

[9] NIGAY L， COUTAZ J. A design space for multimodal systems：concurrent processing and data fusion[C]//Proceedings of the SIGCHI conference on Human factors in computing systems-CHI '93. Amsterdam， The Netherlands：ACM Press， 1993：172-178.

[10] SHARMA K， PAPAMITSIOU Z， GIANNAKOS M. Building pipelines for educational data using AI and multimodal analytics：a "grey-box" approach[J]. British journal of educational technology， 2019， 50(6)：3004-3031.

[11] D'MELLO S K，KORY J. A review and meta-analysis of multimodal affect detection systems[J]. ACM computing surveys，2015，47(3)：1-36.

[12] 李卿，任缘，黄田田，等.基于传感数据的学习分析应用研究[J].电化教育研究，2019，40(5)：64-71.

[13] JAQUES P A， VICARI R M. A BDI approach to infer student’s emotions in an intelligent learning environment[J]. Computers & education， 2007， 49(2)：360-384.

[14] PEKRUN R. The control-value theory of achievement emotions：assumptions， corollaries， and implications for educational research and practice[J]. Educational psychology review， 2006， 18(4)：315-341.

[15] LEUTNER D. Motivation and emotion as mediators in multimedia learning[J]. Learning and instruction， 2014(29)：174-175.

[16] MCGAUGH J L. Emotional arousal regulation of memory consolidation[J]. Current opinion in behavioral sciences， 2018(19)：55-60.

[17] SANDANAYAKE T C， MADURAPPERUMA A P. Affective e-learning model for recognising learner emotions in online learning environment[C]// International Conference on Advances in ICT for Emerging Regions. Colombo， Sri Lanka：IEEE， 2013：266-271.

[18] 汪维富，毛美娟.多模态学习分析：理解与评价真实学习的新路向[J].电化教育研究，2021，42(2)：25-32.

[19] TAO J， TAN T. Affective Computing：A Review[C]// TAO J， TAN T， PICARD R W. Affective Computing and Intelligent Interaction. Berlin：Springer， 2005：981-995.

[20] 叶俊民，周进，李超.情感计算教育应用的多维透视[J].开放教育研究，2020，26(6)：77-88.

[21] 周进，叶俊民，王志峰，等.国外情感分析教育应用的进展与启示[J].现代教育技术，2020，30(12)：34-40.

[22] HUSSAIN MD S， MONKARESI H， CALVO R A. Categorical vs. dimensional representations in multimodal affect detection during learning[G]//CERRI S A， CLANCEY W J， PAPADOURAKIS G， et al. Intelligent Tutoring Systems. Berlin， Heidelberg：SpringerBerlin Heidelberg， 2012， 7315：78-83.

[23] EDWARDS A A， MASSICCI A， SRIDHARAN S， et al. Sensor-based methodological observations for studying online learning[C]//Proceedings of the 2017 ACM Workshop on Intelligent Interfaces for Ubiquitous and Smart Learning. Limassol：ACM Press， 2017：25-30.

[24] CHEN J， SHE Y， ZHENG M， et al. A multimodal affective computing approach for children companion robots[C]//Proceedings of the Seventh International Symposium of Chinese CHI on - Chinese CHI '19. Xiamen：ACM Press， 2019：57-64.

[25] D'MELLO S. A selective meta-analysis on the relative incidence of discrete affective states during learning with technology[J]. Journal of educational psychology， 2013， 105(4)：1082-1099.

[26] D'MELLO S， CALVO R A. Beyond the basic emotions：what should affective computing compute? [C]//CHI '13 Extended Abstracts on Human Factors in Computing Systems on - CHI EA '13. Paris：ACM Press， 2013：2287- 2294.

[27] RAY A， CHAKRABARTI A. Design and implementation of technology enabled affective learning using fusion of bio-physical and facial expression[J]. Educational technology & society， 2016， 19(4)：112-125.

[28] ASHWIN T S， GUDDETI R M R. Automatic detection of students' affective states in classroom environment using hybrid convolutional neural networks[J]. Education and information technologies， 2020， 25(2)：1387-1415.

[29] LIN H K， SU S， CHAO C， et al. Construction of multi-mode affective learning system：taking affective design as an example[J]. Educational technology & society， 2016， 19(2)：132-147.

[30] 薛耀锋，杨金朋，郭威，等.面向在线学习的多模态情感计算研究[J].中国电化教育，2018(2)：46-50，83.

[31] ASHWIN T S， GUDDETI R M R. Impact of inquiry interventions on students in e-learning and classroom environments using affective computing framework[J]. User modeling and user-adapted interaction， 2020(30)：759-801.

[32] STANDEN P J， BROWN D J， TAHERI M， et al. An evaluation of an adaptive learning system based on multimodal affect recognition for learners with intellectual disabilities[J]. British journal of educational technology， 2020， 51(5)：1748-1765.

[33] LIN H K， WANG C， CHAO C， et al. Employing textual and facial emotion recognition to design an affective tutoring system[J]. The turkish online journal of educational technology， 2012， 11(4)：418-426.

[34] BAHREINI K， NADOLSKI R， WESTERA W. Communication skills training exploiting multimodal emotion recognition[J]. Interactive learning environments， 2017， 25(8)：1065-1082.

[35] WANG C， LIN H K. Emotional design tutoring system based on multimodal affective computing techniques[J]. International journal of distance education technologies， 2018， 16(1)：103-117.

[36] 郑祖伟，曹阳.教室里的电子眼在看什么[EB/OL].(2013-05-27)[2020-12-05].http：//edu.people.com.cn/n/2013/0527/c1053-2162 8580.html.

[37] 晋欣泉，王林丽，杨现民.基于大数据的在线学习情绪测量模型构建[J].现代教育技术，2016，26(12)：5-11.

[38] 樊敏生，武法提.数据驱动的动态学习干预系统设计[J].电化教育研究，2020，41(11)：87-93.

[39] CRESCENZI‐LANNA L. Multimodal learning analytics research with young children：a systematic review[J]. British journal of educational technology， 2020， 51(5)：1485-1504.

[40] BAKER R S J D.， D'MELLO S K， RODRIGO MA M T， et al. Better to be frustrated than bored：the incidence， persistence， and impact of learners' cognitive-affective states during interactions with three different computer-based learning environments[J]. International journal of human-computer studies， 2010， 68(4)：223-241.

基金项目：

国家社科基金后期资助项目“基于短文本的学习分析理论与实践”(项目编号：20FTQB020)

作者简介：

周进(1993—)，男，湖北鄂州人，华中师范大学人工智能教育学部，博士研究生，主要从事学习分析研究。E-mail：jinzhou2019@mails.ccnu.edu.cn；

叶俊民，为通讯作者，华中师范大学计算机学院，E-mail：jmye@mail.ccnu.edu.cn。

本期编辑 | 穆清

转载自：《电化教育研究》2021年第7期 26-32+46页。

排版、插图来自公众号：MOOC（微信号：openonline）

上一篇：科技赋能教育监测与评价：现状与前瞻下一篇：教育数字化转型的实践逻辑与发展机遇

返回列表

站内搜索

质量管理

前沿领域

多模态学习情感计算：动因、框架与建议

多模态学习情感计算：动因、框架与建议