3

1.心流+沉浸式理论

心流理论是指人全身心投入某种活动，并达到一种极致愉悦的心理状态[24]。心流理论认为，心流体验包括九个要素：清晰的目标、及时的反馈、挑战与技能的平衡、行为与意识的融合、意识中排除干扰、无惧失败、自我意识的消失、忽略时间的流逝和专注于活动本身价值[25]。即心流是个体在具体情境中挑战与技能达到平衡时，所出现的最佳心理体验。由于情境是不断发展变化的，即个体所从事活动面临的挑战也会不断变化，为了维持“心流状态”，个体就必须不断学习新的技能来应对挑战，这一过程会促进个体的身心得到不断的发展[26]。

沉浸式教学理论是指教育教学工作者在施教过程中，灵活地设计并运用多种教学手段，激发学习者的学习兴趣，使学习者进入一种“沉浸体验”（也可以称之为心流体验）的学习状态，从而提高教与学的成效[27]。该理论在教育领域的具体应用，起源于 20世纪60年代加拿大的多模态语言教学[28]。近年来，沉浸式教学理论随着虚拟现实等技术的不断发展与应用，也逐步由一种单纯的语言教学模式发展为具有更加广泛适用性的教学模式。国内有学者进一步提出基于具身认知的沉浸式教学[29]，即在智能技术支持下，以沉浸式理论为基础，以具身认知为驱动，旨在提高学习质量和教学效果，促进学习者身心的整体发展。

2.情境+具身认知理论

情境认知理论的主张，与起源于 20世纪 60年代的“认知革命”相比，反映了一种新的范式，被誉为“第二代认知科学”[30]。情境认知理论认为，认知过程是由情境建构、指导和支持的，个体的心理通常在情境中进行活动[31]。情境可分为物质或任务、环境或生态、社会或互动等三个方面。与传统的认知观点不同，情境认知理论认为，认知是社会和寓身的（Embodied），认知处于人类社会和由人构建的情境之中，身体在认知中具有现实的和理论的双重意义；认知也是具体和情境化的，物质条件和环境对于认知非常重要，人类的思维依赖于情境[32]。因此，借助MR场域来构建不同情境，利用虚拟现实教育资源，可以让学生身临其境，通过感受不同情境下的学习内容与探究氛围，提升学生的感知与思维能力。

具身认知认为，身体既是认知的途径，又是认知的来源，而且还参与认知的互动过程[33]。理化是以实验为基础的科学，尤其是物理知识的学习，引导学生通过实验获得感知体验、生成物理知识显得尤为重要[34]。因此，借助 MR 场域来构建深度交互的具身体验场景，精心设计教学过程与呈现多维空间资源，给予学生具身参与的机会，通过充分调用学生视觉、听觉、触觉等多通道，在真实的情境中获得沉浸式的体验，可以大大提升多维度具身认知的效果。

（二）MR 场域中“多模态+人机协同”教学的内涵

正如前述，MR 场域中的“多模态+人机协同”教学，是在MR 虚实融合的环境下，为学习者提供人机交互、外部视频追踪等技术；同时，与现实环境、虚拟环境中的对象发生各种联系，以形成视觉、听觉、触觉等多模态的交互反馈路径。通过智能化的感知技术，动态收集多模态交互数据并进行数据融合与分析，形成过程性学习数据，以探究MR 环境中教学发生机理。其主要特点在于为学习者营造了多维感知的教学空间，丰富其交互体验，加深对知识的理解。

因此，MR 场域中的“多模态+人机协同”教学，具有虚实融合、沉浸式、多通道等的特征。虚实融合特征指的是从现实环境和虚拟环境中感知学习对象，同时，现实对象可以“添加”到虚拟环境中；虚拟环境中的对象，亦可以借助可视化设备呈现在现实环境中。沉浸式主要指MR 场域中的“多模态+人机协同”教学的交互自然性，能够通过智能技术设备实现不同场景间的深度交互，提升学习者的操作真实感、沉浸感。多通道特征主要指学习过程中同一知识点可以借助不同类型资源予以呈现，带来视觉、听觉、触觉等全方位的感官体验，形成学习者对知识的深度理解。

（三）MR 场域中“多模态+人机协同”教学的交互特征

由上论述我们认为，MR 场域中“多模态+人机协同”教学的交互特征，主要是虚实融合、多模态和人机协同这三方面。在虚实融合交互特征的MR 场域中，“多模态+人机协同”教学的交互增加了部分教学实体交互，从而也为多模态和人机协同提供了进一步的验证基础。同时，结合项目式教学、适应性反馈等形式，还可以为同一空间内的学习者提供不同类型的资源。比如，在同一物理空间中，学习者借助视觉、听觉、触觉等同时接收虚拟和真实空间中的不同信息传输，从而满足学生个性化学习的需求。

在多模态交互特征方面，旨在驱动并实现“视—听—触”多模态通道的融合，从而让学习者有身临其境的真实感受，获得积极的心流体验。与此同时，MR场域中的多模态教学，其数据表征亦是多模态的，输入时通过图文、视频、动画、语音等形式，支持学生多维信息的获取以促进知识内化；输出时也可以借助信息采集设备，收集文本、音频、生理等不同表征的形式数据，通过多模态数据的融合与分析，以全面了解学习过程的动态变化与特征。

在人机协同交互特征方面，则主要表现在多模态人机协同学习空间的交互多样化，由师生和智能设备开展所在学习空间范围内的协同互动，并将多模态人机协同信息及时联通到教师和智能设备，从而通过教师和智能设备来进行多模态的人机协同数据表征。智能设备技术的介入，能够为教学过程的数据收集、整理分析提供支撑，助力教师实现实时反馈与交互。借助于多模态学习分析技术，目前的智能设备不但能够收集和整理视频、语音、文本等交互数据，还能收集和整理学习者行为、甚至生理和心理等层面的数据。

因此，本研究通过多模态人机协同空间交互、多模态人机协同信息感知、多模态人机协同数据表征、数据表征促进交互优化等四个阶段，构建了如图1所示的MR 场域中“多模态+人机协同”教学交互方式及伴随的数据特征。

4

1.多模态情境导学

多模态情境导学，表现在基于情境认知理论，在开始MR 教学之前，由教师根据教学目标、教学重难点及学生学情等情况与信息，进行面向MR 教学环境的多模态情境教学创意设计。该设计不仅需要最大程度地吸引学生的注意力，从而有效激发学生的学习兴趣；而且还需注重培养学生的实际操作能力与思辨能力，并帮助学生在实验过程中完成学科知识的内化以及实验操作的优化[35]。因此，面向MR 教学环境的多模态情境教学的创意设计，需要教师有效利用MR 教学系统的显示屏以及附属的操作系统，熟练操控导入创意情境的视频和语音等交互过程。

2.MR 多模态智能诊学

MR 多模态智能诊学，则是基于心流+沉浸式教学理论，在开始教学前，由教师对所诊断任务进行个性化的设计，再对学生的动态学习情况进行多模态的诊断分析，以便教学中为使用MR 学习、实现更加有效的心流和沉浸体验做好准备。在多模态诊断方面，主要利用MR 系统的显示屏，配合MR 套件的各个组成部分，来进行诸如MR实验等操作前的学习诊断。诊断结果可分为两部分：班级诊断共性结果以及学生及其小组的个性化结果。其班级诊断共性结果，则可以由MR 智能系统来完成；学生及其小组的个性化结果，则可以由教师结合具体情况来进行个性化诊断。

3.MR 多模态人机助学

MR 多模态人机助学环节，则是基于具身认知理论，由MR 智能后台所储备的大量、可供学生自主学习探索所用的资源库，结合以往学习数据资料，为学生推荐匹配具身体验的学习资源，以充分调动学生的主动学习兴趣。学生亦可以结合实际的学习情况，在学习过程中选择不同层次的学习任务及提示性线索，以满足个体的学习需求。教师则充分发挥引导与协助作用，在教学过程中结合MR 智能输出设备，实时把握学生的学习进程。对于学生学习中的难点及薄弱环节重点讲解，帮助学生突破知识难、疑点的认知瓶颈，获得深层次认知与理解。同时，教师协同智能化的后台资源库，筛选个性化的学习任务，不断优化学生的学习路径，提升其学习效率。

进一步地，教师还可以动态发布学习任务或下达任务单，从而助力学生展开研讨，并在全班进行成果展示，旨在发挥学习共同体的作用，在实现自主学习能力提升的基础上，培养学习者团队的协作素养。学习共同体的培育需要充分发挥个体在团队中的效应，以构建起建设性的交互，推动协同研学的广度和深度。在传统教学环境下，协同研学常常会形成优生牵头，组内其他成员参与性不高的困境，导致最终成效不高。在MR“多模态+人机协同”的教学环境下，借助智能传感设备等，教师可以实时动态了解学生的参与程度及情绪表现，及时给予学习干预和提醒。同时，智能机器通过分析学生在诊学阶段的学情表现及研学过程中的任务完成情况，及时向教师推送优化研学任务的建议，实现研学任务从“同一知识点多题型”向“同一知识点多层次题型”的方向演进，以充分满足不同学生的学习需求，提高其在研讨过程中的参与性与专注力。在成果汇报阶段，教师可以选择具有典型代表的案例或成果依次进行呈现，突破共性问题，解决个体困难，展示优秀学习作品。

4.多模态精准评学

多模态精准评学，则以多主体、多角度、过程性与结果性评价相结合为准则。首先，评价主体不局限于教师，还囊括了学生主体、学习小组以及MR 智能平台诊断等，学生不再是被单向评价的对象，其作为学习主体应充分发挥其自我评价的功能。其次，评价维度的多元化，学生的发展具有整体性，评价的落脚点若只关注知识技能的掌握情况是不全面、不科学的，还应包含学生的情感态度、合作交流意识、学习进步情况等多角度的全局性评价，这就需要借助多模态的数据收集与表征等，以呈现并科学分析学生学习情况的内在特质。同时，学生的发展具有阶段性，评价不能只是面向一个阶段，多个阶段数据的持续收集与分析，能够完善关于学习过程的整体性评价，也能为之后的学习提供持续性的参考。最后，评价的核心是促进学生学习的有效进行，因此，评价结果的呈现应更多关注学生的进步，凸显学生已经掌握的知识、所具备的能力，分析其存在的不足、发展的潜力。因此，必须打破传统的粗线条、终结式的等级式评价，以充分体现每一个学生学习的进程和成长路径。

5

多模态情境导学主要开始于MR 教学之前，通过面向MR 教学环境的多模态情境教学创意设计，以最大程度地激发学生的学习兴趣。例如，在保险丝熔断实验中，教师可以通过翻转课堂或其他多种形式，学习保险丝熔断的实验原理，并基于对实验原理的认知，设计实际应用场景，在课堂中主要呈现学生的设计案例。

（二）MR 场域中的多模态智能诊学

在MR 智能诊学环节，主要是通过MR 智能系统诊断学生对于实验原理及实验操作的掌握情况。在传统的实验环境下，由于保险丝熔断时电流大、温度高，存在安全隐患且实验器材具有消耗性，因此无法完全放手让学生进行自主探索。应用MR 技术可以有效克服上述不足，在保障安全有效的实验环境下，为参与者提供了虚实融合的交互情境，形成“视—听—触”融合的多感官通道及其伴随的数据收集和分析。学生可以基于自己对实验内容的理解进行自主探索，教师可以通过现场观察和MR 智能系统的实验结果输出，精准判断学情，定位学生学习的薄弱环节，从而有针对性地进行指导。

MR 场域下实验所使用的设备，包括一个真实的滑动变阻器和三个模拟真实仪器形状的有形替代品（电源、电流表、保险丝底座）。当呈现MR 后，系统将通过多相机3D 配准，将三个有形的替代品渲染成相应的实验设备（电源、电流表、保险丝底座）。可见，MR 环境下使用有形替代品既节省电子设备的成本，又能让学习者在交互时也有类似的触感，还能有效保障实验的安全性，图3 为MR 环境的操作展示。