在实际使用时，多模态的灵活切换同样重要。Vision Pro目前提供的远近场交互模式的切换也是个很好的例子，它允许用户根据任务的需要和环境的变化，直观的选择合适的交互方式。

Rokid 自研的 AR 空间操作系统 YodaOS-Master 则支持 3 种焦点导航交互方式(手部追踪近场交互、射线远场交互和 Touchpad 光标间接交互)。在不同的使用场景下，用户可以根据需要灵活切换。比如在游戏中使用射线可以提供最快速度的灵活响应。而在使用 2D 应用办公时，Touchpad 光标能提供更稳定和精确的操作体验，也更符合我们在电脑上办公的操作习惯。

然而，多模态交互有时也会增加用户的认知负荷。例如，组织语言进行说话是一个非常消耗大脑资源的活动，许多人在说话时不得不暂停手头上的其他工作，无法一心多用。这可能是由于大脑用于说话和聆听的部分也是用于解决问题的部分。

这也可能是语音输入迟迟没有流行的原因之一。

△ AR 中 MMI 的拟议框架

所以多模态交互的复杂度非常高。为了方便系统性的研究，韩国 CX Insight Team 的研究人员提出了一个在 AR 环境中的多模态交互框架，该框架考虑了人类信息处理的各个阶段，以及输入和输出模态如何协同工作。研究还强调了组合不同的交互模态可能对任务效率和用户性能产生的影响，并讨论了如何在 AR 系统设计中实施这些理论。

以上的案例主要用到了视觉、听觉和运动觉模态。但多模态交互并不仅限于此，XR 设备不仅能通过传感器建立与我们自身的连接，还可以建立与我们所处的环境之间的连接。

通过传感器实时采集环境音、摄像头等环境数据。从而理解用户当前所处的环境和用户的需求、行为和情感。从而更好的和用户 "对齐"，提供更好的服务和反馈。比如 Google IO 2024 上发布的 Astra，宣传片中女主问 Astra 她的眼镜放在哪了，Astra 就通过回溯刚才摄像头扫过的影像，告诉女主她的眼镜放在桌角。

△ 谷歌AI：Project Astra 宣传演示

在苹果的专利 US20240005921A1《基于环境上下文的语音命令识别系统》也描述了这类使用场景：在智能家居设备中，用户的语音命令可能存在多种解释，比如家里可能有多个智能灯具，当用户说「关灯」时，系统是无法确定用户要关哪个灯的。但如果系统可以获取环境上下文信息，当用户在卧室发出「关灯」命令，系统就能将模糊的指令识别为关闭卧室的灯。