AI 正从大语言模型向多模态与世界模型演进，人机交互从屏幕走向空间，从单模态走向多模态自然协同。本文回归人类原生交流规律，系统构建多模态交互设计体系，通过分析其特征、类型与方法，为 HAI 时代的人机交互提供思考框架与理论参照。

继上一篇我们提出了 HAI 交互设计法，并通过「深度理解」锚定了人性不变的需求后。本次，我们将视角转向技术演进所带来的交互变革，以「自然交流」的设计顺应技术之变。

AI 从大语言模型向多模态模型、乃至世界模型演进，其本质是理解能力的维度扩展：从符号语义解析，延伸至物理情境理解。这一质变使机器能够真正读懂人的意图、感知当下情境，为人机交互从“人适应机器”转向“机器适应人”奠定了基础。

在此趋势下，人机互动从屏幕走向空间，从单一通道走向多模态自然协同。面对这一变化，本文回归人类原生交流规律，系统构建多模态交互设计体系，通过分析其特征、类型与方法，为 HAI 时代的人机交互提供思考框架与理论参照。

01 AI 正重塑人类与设备互动的方式

从平面到空间

从纸张文字、电话语音到移动互联网的影像，每一次媒介形态的跃迁，都深刻重塑着我们理解世界的维度与感知的边界。

而今，在 AI、空间计算与 XR 等前沿技术的融合推动下，数字世界与物理世界的边界正逐步消融。虚实融合不再仅是愿景，而是正在成为新一代信息社会的底层体验范式。这一趋势不仅深刻变革着人类获取信息与沟通交互的方式，更驱动数字智能本身持续进化——它正突破虚拟的边界，向可感知、可交互、乃至可栖居的具身化智能方向演进。

从单模态到多模态

从平面到空间的演进，也标志着交互范式本身的重构。过去数十年间，人机交互始终被禁锢于二维屏幕之内，依赖于键盘、鼠标、触控等单一模态的输入方式。而未来，随着智能传感、空间计算与多模态 AI 的成熟，交互将快速跨越屏幕的边界，迈向三维空间与自然融合的多模态交互方向。

02 多模态交互的概念

多模态是人类与世界的原生语言

人类以多模态的方式互动，世界以多模态的结构呈现。人类所创造的多模态技术，正是根植于这一双重现实为基础而发展。

生物学层面上，多模态互动（Multimodal Interaction）是一个完整的“传递‑接收”循环：指人体通过多种运动/效应通道（Motor/Effector Channels）传递信息，并通过多种感官通道（Sensory Channels）接收信息。正如人类在交流中同时扮演“表达者”与“倾听者”。

多模态交互正是这一生物机制的数字化延伸，它融合多种“表达”与“感知”方式，使人机互动不断逼近人际交流的自然体验。

多模态交互：指人类利用多种表达通道（如肢体、声音语言、眼神）和感知通道（如听觉、视觉、触觉）与计算机系统进行通信的过程。

—— 本·施奈德曼（Ben Shneiderman）

多模态交互首次在1979年麻省理工理查德·A·博尔特（Richard A. Bolt）撰写“Put-that-there: voice and gesture at the graphics interface”（将语音和手势结合）。

综上所述，人类通过“多通道输入”传递意图，系统通过“多通道反馈”回应结果让人类感知，从而形成一个实时、连贯的交互闭环。因此，多模态交互的本质并非模态的简单叠加，而是构建一个以人为中心的对话循环。

为深入剖析这一循环，本文将分两篇展开系统性阐述：上篇聚焦多模态输入（人类如何表达），下篇探讨多模态反馈（系统如何回应）。

03 多模态输入

多模态输入的类型

前文中所提到的多模态表达是从生物学角度切入，指人体通过多种运动/效应通道（Motor/Effector Channels）传递信息。

而多模态输入根据用户参与程度又可分为两类：显性输入与隐性输入。

1. 显性输入（Explicit Input）：指用户有意识主动的交互行为，如接触（触摸、握持）、声音、视线、表情及空间动作等行为能力。这类行为直接承载用户意图，是当前人机交互的主要方式。
2. 隐性输入（Implicit Input）：指用户无需主动表达的信号、由系统自动感知，如生理状态、注意力水平等，主要用于辅助理解用户状态与环境上下文。

随着 AI 理解能力的深化，系统正逐步融合显性与隐性信号。但当前交互设计的核心仍是优化显性输入——它是用户意图最直接的出口。下文将围绕这一焦点，阐述基于主动表达的多模态输入设计方法。

多模态输入的设计方法

设计多模态输入前，采用系统化的分析框架，基于人机交互领域中的 “意图‑行为‑情境”分析思路，将动机、体验与变化纳入考量。对应的是 设计动机（Why）→设计体验（How）→适应变化（What if） 该框架依次引导设计者回应以下三个核心问题：

1. 设计动机：单模态是否满足，多模态输入优势是什么？
2. 设计体验：多模态输入是否自然协调？
3. 适应变化：使用情境是否多变，应如何动态适应？

后续，将依此三阶段展开说明：

1. 设计动机：单模态是否满足，多模态输入优势是什么？

【动机：多模态的必要性】

我们想象一个日常沟通场景：“与熟人对话时，我们通常会简洁地表述，乃至含糊省略；而与陌生人对话时，则会表述得更明确，更丰富”。其实这揭示了一个本能倾向，人在确保意图能被准确传递的前提下，会倾向使用最“经济”的表达方式。

这正是关于多模态输入的必要性思考，其核心是遵循 “奥卡姆剃刀”原则：如无必要，勿增实体。若单一模态已能轻松、准确的完成任务，就无需引入更多模态。

因此，判断多模态输入的必要性，首先需要审视单模态是否存在阻碍或瓶颈。多模态设计的价值必须明确，关键在于创造增量体验，而非简单叠加，其必要性可从提升“效率、准确、流畅”三个维度进行审视与评估。

1）效率性（简化复杂任务）：该任务是否因操作逻辑复杂，导致单模态表达低效甚至无法完成?

说明：在传统汽车HMI中调节后视镜需依循界面，多步骤操作。智能座舱则允许用户看向目标后视镜+手部操作，将多步操作融合为一步自然动作，实现“所见即所控”。

2）准确性（提升意图准确性）：单模态输入是否容易产生歧义或错误，需要其他通道进行确认或补充？

说明：支付等高安全性操作，若仅依赖单一验证，仍存在误识风险。结合人脸识别与按压指纹验证，可大幅提升交易可信度。

3）流畅性（增强输入流畅性）：判断当前交互流程是否存在明显的操作断点，是否可通过多模态实现更流畅连续的交互？

说明：键盘打字虽成熟可靠，但行走移动时仍会打断输入，而“长按语音输入、松开转文字”则允许用户在不中断当前活动的情况下持续输入。

综上所述，多模态的必要性，取决于它能否提升单模态在效率、准确或流畅性上的增量体验？若能，则引入具备明确价值；若不能，则应力求简洁，避免过度设计。应始终基于用户是否需要，而非技术是否能够。

2. 体验设计：多模态输入是否自然协调？

【动机：多模态的协调性】

构建自然协调的多模态输入体验，这要求设计兼顾人体的共性规律与个体的差异偏好。

在共性层面，须符合人体行为的客观规律，确保模态资源得到合理编排，否则会引发冲突与疲劳。

在差异层面，须贴合个体不同的偏好方式，使模态方式是契合个人偏好，否则会显得僵化且笨拙。

因此，协调性的实现，具体落实在这两项的设计任务上：

模态的资源合理编排（共性）

克里斯托弗·威肯斯（Christopher Wickens）的多重资源理论（MRT）为此提供了核心依据：人类的认知与动作资源并非单一整体，而是分布于多个相对独立的“资源池”。用以解释为什么有些任务更容易同时完成（例如边走路边嚼口香糖），而另一些任务则难得多（例如边说话边用眼阅读）。

威肯斯多元资源理论模型图形，方块表述人类的不同资源池，由HFE Solutions的KT Smith绘制。

基于此理论，合理编排的目标在于实现动作资源有效分配，让交互感觉轻松、自然。我们可从表达资源的数量、难度、重叠使用这三个设计要点上：

1）模态组合数量：模态越多（1→N），需调用的资源池越多，协调难度与消耗越大。

说明：调用的资源数量增多，也会造成相互之间的配合难度上升，非特殊情况，尽量克制在 2-3 种内。

2）模态行为难度：输入动作精度要求越高（模糊→精细），资源消耗会增大。

说明：一个需要高精度定位的“精细手势”远比一个自然的“挥手”消耗更多资源，设计应遵循最小努力原则，将高频、连续操作分配给低难度模态。

3）模态调用重叠资源：若多个模态竞争同一资源池（如同时进行两项触控任务），会产生干扰。

说明：如要求用户同时执行“触摸打字”和“触摸控制”两项任务，会较难完成，应优先选择资源互补的模态。

因此，设计中，不应只考虑提供尽可能多的输入方式。而是需要思考，将用户有限的资源，配置在最值得、最不费力、且互不冲突的地方，从而降低用户负担。这一理念落实到具体的行为动作设计上，体现为上述的三项设计准则，对此做个小结：

数量克制，组合控制在 2-3 种模态内；难度适配，最大程度降低高频操作的动作精度；资源互补，优先组合调用不同通道的模态（如“语音+视线”），避免竞争同一资源池（如多重触控）。

模态的方式贴合个人（差异）

合理的模态资源编排建立了客观、普适的效率基线。而真正的自然协调还需根据个体差异进行适配，需兼容具有不同生理条件、文化背景与行为习惯的用户，因为并不存在“标准人”，故设计必须尊重用户的“多样性”。

1）贴合个人生理特征：用户的生理能力存在客观差异，设计应提供合适且具有包容性的交互通道。

说明：如儿童手部能力尚在发育，面向该群体的智能手表普遍采用更大的热区，并多采用长按的操作方式，避免精细点按。

2）贴合个人文化习俗：同一行为在不同文化中可能语义迥异，设计应契合文化特征并避免歧义。

说明：以“OK”手势为例，在中国表示认可，在土耳其、希腊等地则具有侮辱性含义。系统需识别此类文化差异，确保交互意图准确传达。

3）贴合个人习惯偏好：不同用户的使用习惯存在显著差异，设计应支持个性化配置并主动适配差异。

说明：如 Apple Pencil 在设计时，便兼顾了惯用左右手的两类用户不同的持笔握姿与手掌落点，为不同习惯的用户提供一致的顺滑书写体验。

某种多模态组合，对一个人来说是直觉，对另一个人来说却可能成为障碍。因此，模态方式的“贴合个人”，是让模态主动适配不同用户的生理条件、文化习俗与习惯偏好，为每个人提供最自然、最有效的表达路径。

最后，为多模态输入协调性做一小结，其构建路径可概括为 “模态的资源合理编排 → 模态的方式贴合个人” 。前者建立普适的效率基线，解决“可用性”问题；后者则针对个体差异进行适配，解决“契合性”的问题。二者共同推动交互设计从标准化的效率，走向因人而异的协调。

3. 适应变化：输入的情境是否多变？

【动机：多模态的适应性】

前文中，多模态输入的协调性，是为交互体验建立了相对稳定的静态基础。然而，真实的互动场景始终处于动态流动之中。

想象一个日常情景：从安静书店步入喧闹地铁站时，我们会不自觉地提高音量、增加手势以保持沟通。

人类天生懂得根据环境、状态与任务动态调整“输出”方式。这一本能揭示出人机交互的关键原则：有效的沟通需要根据环境、自身状态和任务状态的变化动态调整输出方式。

基于这一洞察，用户输入应具备“动态适应性”，能主动感知情境变化，智能调度最适宜的输入通道。具体而言，这种适应性体现在三个关键维度：

1）适应环境条件变化：依据环境变化所带来的影响，提供最优输入通道。

说明：如手表进入到游泳模式因物理环境发生改变，会关闭触摸通道，输入通道以物理旋钮与实体按键为主。

2）适应用户状态变化：识别用户实时行为与注意力水平，匹配输入方式。

说明：在驾驶场景中，为减少分神，车机系统会优先推荐语音指令或方向盘上的实体按键输入，而非触控屏幕输入。

3）适应任务状态变化：理解任务不同阶段的核心目标，提供契合的输入支持。

说明：在紧急事件中，系统将跳过复杂操作，直接提供极简交互，如支持挥手、点头等本能输入方式，以最短路径完成关键确认。

有效的沟通，从来不是用固定的方式应对流动的世界。因此，多模态输入的适应性，本质是让系统具备与人类同等的情境应变能力。为不同环境、状态与任务阶段，预判并匹配最适宜的输入通道。如果说协调性中的“资源编排”确立了效率基线、“贴合个人”实现了因人适配，那么“动态适应”则确保了交互在每一次当下发生时的合理性。

04 多模态输入：最大程度承接人类的自然表达

至此，我们完成了对多模态输入设计的系统探讨。在基于 AI 推动“机器不断适应人”的背景下，了解交互正从平面走向空间、从单模态走向多模态。能观察到，交互是向着顺应人类本能，契合人类直觉的方向发展。而多模态输入，则对应的是人类的表达本能，其最终目的：最大程度承接人类的自然表达。

本文基于人类自然表达的“意图‑行为‑情境”为原型，将其转化为设计思考的 “动机—体验—适应” 框架，系统回应了多模态输入的三个根本问题：

设计动机：为何需要多模态？- 解决效率、准确、流畅的瓶颈；设计体验：如何实现自然协调？- 模态资源合理编排，模态资源贴合个人；适应变化：怎样应对变化？- 动态调度输入通道，适配环境、个人与任务状态；

未来，随着 AI 感知与情境理解能力的进化，多模态交互将超越界面，成为人与世界无缝衔接的交流方式。它以轻量行为承载深远意图，在虚实融合中重新定义交流的边界——表达的极简，源于极致的理解。

“真正的技术，不是取代人类，而是拓展人类的可能性。”—— 来源：Douglas Engelbart

参考文献

• E Dritsas. Multimodal Interaction， Interfaces， and Communication： A Survey.Multimodal Technol. Interact. 2025.
• Donald K. Freedheim， Irving B. Weiner. Handbook of Psychology. Hoboken， New Jersey： John Wiley & Sons， 2003： 85-108.
• Marianna Obrist， Carlos Velasco. Multisensory Experiences： Formation， Realization， and Responsibilities. Communications of the ACM， 2025， 68(4)： 50-59.
• Matt Zuckerman， Alison Hayward， Daniel W. Robinson etc. Multiple resource theory. Education Theory Made Practical： Volume 4， 2022： 55-60[2026-02-10].https://www.researchgate.net/publication/358566524_Education_Theory_Made_Practical_Volume_4
• 范向民， 范俊君， 田丰， 等. 人机交互与人工智能： 从交替浮沉到协同共进. [2026-02-10].http://scis.scichina.com/cn/2019/N112018-00181.pdf
• 许为， 葛列众， 高在峰. 人-AI 交互： 实现“以人为中心 AI”理念的跨学科新领域. [2026-02-10].https://arxiv.org/pdf/2112.01920
• 王国庆， 裴云强，杨阳， 等.多模可信交互“从多模态信息融合到人– 机器人–数字人三位一体式交互模型”. 中国科学 ： 信息科学， 2024， 54(4).
• 范俊君， 田丰， 杜一， 等. 智能时代人机交互的一些思考. 中国科学 ： 信息科学， 2018， 48(4).

*图片来自网络公开资料，若涉及版权请联系修改。