智能座舱人机交互是汽车用户体验的重要组成部分。在信息化、智能化背景下，依托各种先进技术，智能座舱多模态交互已成为汽车行业研发的核心方向。其不仅保留了触控等传统物理交互方式，还整合了语音、手势、眼控及多屏等新兴交互方式。通过感知层信息的共享与交互，智能汽车能够获取可靠的决策依据，从而优化驾驶行为并显著提升舒适性与安全性。概述了智能座舱多模态交互技术，系统分析其发展现状、面临的问题与未来趋势，以期为提升智能座舱人机交互体验提供理论参考。

　　智能座舱在现代汽车产业中，尤其是新能源汽车智能化领域占据重要地位，是提升用户驾驶体验的关键因素。与传统座舱的物理交互方式相比，智能座舱融合了多模态感知技术，结合人工智能、虚拟化和个性化定制等手段，形成了更复杂的人机交互模式。多模态融合、主动化、拟人化和自然化的交互方式成为智能座舱人机交互的发展趋势。

　　模态指的是数据或者信息的表现形式，如文本、图像、音频、视频等。多模态指的是数据或者信息多种表现形式的融合，通过对多模态数据进行学习，从而提高模型的感知和理解能力。

　　多模态人机交互是车辆通过融合类人的视觉、听觉、触觉等多种感知设备，使计算机利用多通道响应输入信息，充分模拟人与人之间的交互方式。

　　智能座舱多模态交互是实现人与车、人与生态的连通。通过触控、语音、手势、眼控、多屏交互等多维度感知，结合主动决策、人性交互，为用户提供个性化、更具情感化的便捷体验。

　　智能座舱多模态交互包括触控交互、语音交互、手势交互、眼控交互、多屏交互，甚至包括脑电信号的交互。常见模态、相关技术和车辆相关的物理层部件如图1所示[1]。

　　触控技术是智能座舱中传统的人机交互技术之一，通过触控、按键、旋钮等物理方式实现交互。触控技术在大屏化、多屏化、智能表面技术的影响下，应用范围多样化，可多手指同时操作实现操作结果的及时反馈，完成触控交互的可视化。随着触控技术的发展，“重触控轻按键”逐渐成为设计主流。这样不仅实现了人机界面（human machine interface, HMI）的美观性，而且有利于功能布局优化与成本控制。

　　触控技术的反馈方式一般有声音、HMI和振动触觉。振动触觉反馈在驾驶安全方面得到广泛应用，用于提醒驾驶员安全行驶。具体为座舱域控制器通过感知层判断驾驶员打哈欠、闭眼等不规范行为，通过座椅内布置的传感器，向驾驶员提供定向触觉信号，提醒驾驶员安全行驶，显著降低因疲劳驾驶引发的安全隐患。

　　随着汽车智能化的发展，语音识别技术在智能座舱交互中的应用愈发成熟。“可见即可说”、连续对话、声源定位、免唤醒等技术广泛应用，语音交互也将变得更自然，甚至可以提供情感陪伴，提高驾驶员对语音交互的信任感。但是由于车辆运行环境包括胎噪、风噪、媒体音频等复合噪声，所以语音数据采集后需要运用降噪算法消除无关噪声，保证语音识别的准确率，从而提高语音交互的连续性。

　　语音识别技术使驾驶员在驾驶过程中通过语音指令的方式来控制媒体娱乐、蓝牙电话、导航、车辆功能等。语音识别技术流程如图2所示。语音识别技术避免了驾驶员双手和视线偏离驾驶位，提高了驾驶的安全性。

　　智能座舱手势交互主要通过手势识别技术完成交互工作。智能座舱内摄像头用来判断手势，并将数据传递给智能座舱域控制器，由控制器调出与手势相对应的功能。相较于语音控制，手势控制操作更加精准、快速，且更容易学习掌握。手势交互是对语音交互、触控交互的补充，手势交互能够让驾驶员通过简单的手势就能完成智能座舱的交互任务，也是能够增加交互趣味性、传递情感的另一个自然交互方式。常用的手势：单指滑动（上下左右）、双指滑动（左右）、双指点击等[2]。但是手势交互在驾驶场景中存在一定弊端：摄像头和车载屏幕固定安装的特性，需要结合车内摄像头的安装位置及性能，并配合HMI完成手势交互的识别反馈；同时手势交互中需要考虑不同车型，不同用户行为的差异性，以便在交互中更加便捷高效[3]。手势识别功能现阶段比较单一，所以手势识别技术更多地被汽车行业作为补充交互技术。

　　智能座舱眼控交互是利用眼动追踪技术来监测驾驶员的视线方向和注视位置，驾驶员通过眼睛的运动与车辆的信息系统进行交互与控制。智能座舱利用车内摄像头，获取驾驶员眼部或面部图像，然后用图像处理算法实现眼部和面部图像的检测、定位与跟踪，估算驾驶员的注视位置，从而使驾驶员无须物理接触车辆设备即可传达指令和接收反馈，提高交互的自然性和效率性。由于眼动追踪技术比较复杂，在车载应用上还不成熟，其采样率、精确度、抗干扰性及算法层面均存在一定缺陷。因此目前眼控追踪技术在智能座舱人机交互中的应用还存在一定的局限性，使用功能比较简单。随着神经网络与大模型技术的发展，眼控追踪等生物技术将成为未来人机交互的重要发展方向。

　　智能座舱多屏交互现阶段应用广泛，大屏化和多屏化成为主流趋势。智能座舱域控制器上设计2～6个屏幕，包括仪表屏、中控屏、副驾屏和后排屏等。多屏交互主要包括多屏互动、内容分享和远程控制3种技术。多屏互动技术的特点是实现了智能座舱多个屏幕的联动，通过连接不同位置的显示屏，驾驶员可以在相应位置获取所需的信息。驾驶员还可以通过触控、语音识别、手势识别等交互进行操作，从而实现了多屏信息的互动交流。

　　智能座舱除了可以同舱内多屏互动外，还可以通过有线或者无线的连接方式与移动端进行了内容分享及远程控制。移动端生态的接入提升了智能座舱的娱乐性，并增强了用户个性化定制功能。

　　单一模态的交互方式，在不同的场景下都有一定局限性，因此需要采用多模态融合的方式促进人机交互更加精准和流畅。多模态交互相融合应用场景如下。

　　语音交互场景：语音识别技术对“这个、那个”一类的模糊词汇没有识别能力，若加入眼控交互的眼动追踪技术，锁定驾驶员的视线方向，再通过语音识别技术发布指令，那么车辆的响应速度和准确性将得到显著提升。

　　辅助驾驶场景：智能座舱通过语音识别、手势识别、眼动追踪等技术获取感知数据，实现对车辆行驶速度、车道保持、疲劳监控等功能的辅助管控、提醒，从而减轻驾驶员的操作负担，降低复杂环境引发的驾驶危险[4]。

　　座舱舒适场景：智能座舱通过触控，眼动追踪等技术获取感知数据，依据驾驶员当前的心理状态、行为需求自动调节氛围灯、空调、座椅、车窗等，实现内部环境自动调节以提升驾驶员的舒适感。

　　随着人工智能技术、通信技术的快速发展，智能座舱多模态交互技术的融合将更加密切化、智能化和个性化。

　　驾驶员在体验智能座舱智能化、便捷化交互方式的同时，隐私数据和信息问题也必须得到重视。因此在设计上从以下重点方向实施。多层次（物理安全、网络安全、应用安全）安全保护；对传输数据和存储数据进行协议加密；采用多因素身份认证方式和权限管理；定期更新保证及时修复安全漏洞；对智能座舱运行日志进行记录并监控，以便追溯和分析；遵循法律法规，防止用户隐私数据滥用；制定应急和恢复机制。

　　智能座舱多模态交互技术在复杂环境中需要感知大量信息。感知方式如果不可靠则感知结果将包含大量无关甚至错误的信息。所以在车辆复杂运行场景中，智能座舱的环境适应性、长期稳定PG电子官网性、快速故障处理能力等问题与驾驶员的舒适体验和人身安全都密切相关。智能座舱关键技术还需要进行大量严格的测试验证和不断的技术创新，关键技术的成熟度和可靠性是智能座舱持续、稳定运行的保障。

　　人工智能技术、多模态与大数据技术、5G/6G通信技术的快速发展，将为智能座舱多模态交互技术提供更加流畅、稳定、可靠的数据保障。汽车人机交互向多模态融合技术发展，覆盖驾驶舱内所有人员的交互需求，更智能、更深度理解舱内人员的状态，提供情绪、情感上的交互和抚慰。智能座舱提供身体及心理方面的健康监测，可以主动提供适合的音乐、氛围灯和香氛。眼动追踪技术将更深入算法的挖掘，在复杂路况和长时间驾驶的情况下，智能座舱主动提供辅助驾驶和安全提醒功能，并通过历史交互数据定制化分析每一位驾驶员的行为偏好和需求[5]。

　　未来的智能座舱人机交互必将具备类人的多模态多感知等能力，越来越趋向于人与人之间的交互。

　　智能座舱人机交互通过集成先进的触控技术、语音识别技术、手势识别技术、眼动追踪技术等，在人工智能、大数据及物联网等技术的支持下，为驾驶员提供了更智能化、舒适化和个性化的车内环境。多模态交互技术的融合使人与车的交互更加自然、高效。虽然智能座舱多模态人机交互在智能汽车行业得到广泛应用，但是汽车制造企业仍需认识到技术的不成熟，时刻保持严谨的设计理念，才能满足用户日益增长的高效、舒适、安全等需求。

　　[1]王伟伟,顾炎辉,余隋怀,等.智能座舱人机交互设计关键技术研究进展[J]. 机械设计,2024,41 (8):30-36.

　　[3]刘聪,朱兰芹.基于多模态交互的汽车人机交互设计研究[J].汽车电器,2022(8):3-5.

　　[4]陈向斌.智能座舱多模态交互技术发展现状及趋势分析[J].汽车知识,2024,24(1):12-14.

• 上一篇：融合・创新・未来：大模型时代智能座舱的探索与实践
• 下一篇：汽车智能座舱技术：革新驾乘体验