面向家庭场景的大模型服务机器人多模态交互意图识别与响应策略
摘要
家庭环境的非结构化特征与用户需求的模糊性，对服务机器人的交互能力提出了远超工业场景的严苛要求。传统单模态交互方式难以应对家庭场景中指令碎片化、意图隐性化、任务长序列化的复杂挑战。
中国传媒科技杂志关注智能传播与人机交互的前沿议题，指出“多模态交互正在重塑人与智能体之间的沟通范式”；
信息化建设则从技术赋能社会治理的视角出发，探讨“具身智能与家庭服务场景的深度融合路径”。大模型技术的崛起为破解这一困局提供了关键的技术支撑。本文基于大模型驱动的多模态交互框架，系统分析了家庭服务机器人在意图识别与响应策略中的技术演进与实践路径。研究表明，以VLA具身大模型、多模态融合感知、语义任务执行中枢为核心的技术体系，正在推动家庭服务机器人从“指令执行者”向“意图理解者”演进，从“被动响应”向“主动服务”跃迁。傅利叶“具身之家”、心言“巴布”、星炽动力家庭具身机器人等典型案例验证了该技术路径在模糊指令理解、长序列任务规划与主动交互方面的有效性。在此基础上，本文从感知层、推理层、执行层三个维度构建了大模型服务机器人多模态交互的技术框架，并探讨了情感计算、个性化适配与安全伦理等关键议题。
关键词：大语言模型；家庭服务机器人；多模态交互；意图识别；具身智能
一、引言
家庭环境是服务机器人最具挑战性的应用场景之一。与结构化的工业场景不同，家庭空间布局动态变化、物品分布杂乱无序、用户指令往往模糊且碎片化。正如研究者所指出的，工业场景受益于结构化的工作流程和确定性指令，而家庭场景则完全不同——家庭部署面临非结构化场景、多样化用户群体和需要灵活规范的任务。家庭服务机器人的普及创造了前所未有的自然人机交互需求，然而传统交互方式难以满足两个并发要求：面向不同年龄和技术素养的非专家用户的易用性，以及可靠执行所需的精确空间定位。
大语言模型与视觉语言模型的突破性进展，为家庭服务机器人的意图理解与任务规划能力带来了质的飞跃。从科沃斯基于通义千问模型的用户意图识别，到傅利叶“具身之家”打通大模型与物理世界的语义任务执行中枢，再到星炽动力VLA具身大模型实现的“环境感知-意图理解-任务执行”自主决策能力——大模型正在从“大脑”层面重新定义家庭服务机器人的交互能力边界。
二、家庭场景多模态交互的独特挑战
2.1 非结构化环境与模糊指令的叠加困境
家庭环境的非结构化特征构成服务机器人交互的首要挑战。与工厂中固定的工位、标准的流程不同，家庭空间布局因人而异、因时而变，物品位置动态调整，光照条件复杂多变。这种环境的不确定性要求机器人具备实时感知与动态适应的能力，而非依赖预设的静态地图。
更棘手的是用户指令的模糊性。家庭用户很少以“将餐桌上的玻璃杯移动到厨房台面”这样精确的指令与机器人沟通，更常见的表达是“我渴了”“把这儿收拾一下”“有点冷”等模糊自然语言。当用户说出“我渴了”时，傅利叶GR-3能够自主理解需求，结合空间语义地图定位餐桌区域和桌面饮品，自主规划最优路径完成取物与递送。这种从“模糊表达”到“精确执行”的跨越，正是大模型赋能的“意图理解”能力的集中体现。
2.2 单模态交互的能力边界
传统家庭服务机器人主要依赖单一交互通道——语音指令或触控操作。然而，单模态交互在面对家庭场景的复杂性时存在显著局限。语音交互难以处理环境噪声和口音差异，无法传达空间指向信息；触控操作对老年人等群体不友好，且无法实现远距离交互。
研究表明，现有的人机协作系统往往依赖单一模态，导致僵化的交互模式和狭窄的指令范围。Robi Butler的研究表明，远程用户可通过手势指向指定目标物体，结合语音或文本指令完成复杂家庭任务。多模态交互不再是“锦上添花”，而是家庭场景下人机自然协作的必要条件。
2.3 从“命令式交互”到“主动服务”的范式跃迁
目前大部分智能设备仍然采用命令式交互——用户发出指令，设备给出回应。然而，随着机器人长期存在于现实空间，设备将越来越多地主动发起服务。家庭场景对服务机器人的期待正在从“听话的工具”升级为“懂你的伙伴”。
傅利叶“具身之家”技术解决方案的核心突破在于，使机器人从“被动执行任务”迈向“主动理解环境、主动服务于人”。心言“巴布”通过多传感器融合感知用户情绪状态与环境上下文，在合适的时机主动发起交互，而非被动等待指令。这种从“命令响应”到“主动预判”的跃迁，对意图识别技术提出了更高要求——不仅需要理解用户说了什么，更要推测用户想要什么。
三、大模型驱动的多模态意图识别技术框架
3.1 感知层：多源异构信息的深度融合
多模态意图识别的起点是多源异构信息的同步感知与深度融合。家庭服务机器人的感知系统需整合视觉、语音、文本、触觉、空间等多通道信息，构建对用户意图的全面理解。
在视觉感知层面，基于VLM的视觉推理能力使机器人能够“看见”家居环境。星炽动力机器人搭载的VLA具身大模型系统，不仅能“看见”家居环境、“听懂”语音指令，更能通过持续学习不断优化服务策略。在语音与文本感知层面，科沃斯在终端设备上部署了不同参数规模的通义千问模型——0.7B、1.5B和7B版本——用于用户意图识别，可直接解析语音指令并控制机器人运行；而在涉及复杂问题理解或多轮对话的交互场景中，则调用更大规模的千问模型以增强响应能力。这种“小模型快速响应、大模型深度理解”的分层策略，兼顾了实时性与理解深度。
3.2 推理层：基于大模型的意图解析与任务分解
感知层完成信息采集后，推理层承担着“理解用户到底想要什么”的核心任务。大模型在这一环节发挥着不可替代的作用。
Robi Butler的核心是一个由大语言模型驱动的高层行为模块，负责解释多模态指令并生成多步行动计划。傅利叶“具身之家”为人形机器人打造了语义任务执行中枢，把大语言模型、三维空间语义记忆、导航规划系统与控制执行调度全链路打通，使机器人能够自主完成“意图判断—任务拆解—空间定位—导航规划—任务执行”的长序列任务闭环。
心言“巴布”搭载的心元系列大模型采用Multi-Agents架构，结合MCP协议、RAG检索增强与长记忆模块，以及覆盖视觉推理、语音识别与语音合成的多模态大模型。这种多层架构设计使机器人既能够理解当前的指令意图，也能够调用长期记忆理解用户的个性化需求。心言集团基于测测十余年积累的万亿级情感语料，自研的心元大模型为巴布构建了一套三层递进的技术底座。
3.3 执行层：从意图到行动的闭环映射
意图识别的最终检验标准是行动执行的准确性与可靠性。执行层需要将推理层的任务规划转化为精确的物理动作序列，并实时感知执行状态以应对动态变化。
实验研究显示，在家庭服务场景数据集上，基于图像处理与人机交互的语义理解模型的视觉-语言实体匹配率达到92.3%，动作响应成功率为89.2%，显著高于纯语言模型的78.5%和65.3%。面向居家服务机器人任务规划的TaPA框架，通过合成包含场景信息、人类指令和动作规划的三元组指令调优多模态数据集，其任务规划成功率比现有GPT-3.5模型高出6.38%。
四、大模型赋能的多模态响应策略
4.1 主动服务策略：从“等指令”到“猜需求”
主动服务是家庭服务机器人区别于工业机器人的核心特征。基于大模型的持续学习与空间记忆能力，机器人可记录家庭物品分布规律、识别用户行为偏好，摆脱被动响应模式，转向主动感知环境、主动预判需求的服务范式。
星炽动力发布的家庭应用级具身机器人，通过VLA具身大模型系统实现多模态交互突破，既能“看见”家居环境、“听懂”语音指令，更能通过自主学习优化服务策略，主动采集生理指标、推送定制化健康方案，提供用药提醒、康复指导等服务。
心言“巴布”的设计理念源自心理学中的“无条件积极关注”。其目标之一是先把唤醒词去掉，让机器人能主动发起交互——当它觉察到用户的面部神态、肢体动作乃至空间距离的变化时，系统会自主判断当下情境并给出反馈。但它不是无差别频繁搭话，而是会匹配不同用户的相处偏好，依托端侧记忆模型动态调整交互频率。全天候居家设备如果不分场景频繁发声，只会给用户持续制造心理负担。
4.2 个性化适配策略：从“通用模型”到“家庭记忆”
家庭场景的独特性在于每个家庭都有不同的生活习惯、空间布局和交互偏好。通用大模型难以满足这种个性化需求，需要建立持续更新的“家庭记忆”机制。
傅利叶GR-3基于大模型与物理执行系统深度融合的底层架构，具备持续学习与空间记忆能力，可记录家庭物品分布规律、识别用户行为偏好。星炽动力的核心目标是推动具身智能发生从“功能执行”到“心智理解”的跃迁，致力于打造“越用越懂用户”的千人千面家庭机器人伙伴。心言“巴布”的目标并非功能叠加，而是适应不同家庭生活方式的个性化方案。
4.3 情感化交互策略：从“功能满足”到“情感连接”
家庭服务机器人不仅是任务执行者，更是情感陪伴者。情感化交互是建立长期人机信任的关键。
心言“巴布”聚焦三类用户——有孩家庭、独居老人和独居女性，覆盖语言陪伴、心理慰藉和影像记录等功能。巴布拍照后生成的照片会自动以漫画形式推送到手机应用里，有效保护了使用者的肖像隐私。傅利叶推动机器人从功能性工具向情感伙伴演进——GR Nano深耕个人陪伴赛道，支持触觉情绪反馈与个性化人格养成。马上消费智慧养老情感陪护机器人搭载多模态情感大模型，支持面部识别、情绪识别、语音识别和手势识别，通过语言、屏幕表情和数字人形象为老人提供情感陪伴、心理疏导等服务。
五、挑战与展望
5.1 当前面临的主要挑战
大模型赋能家庭服务机器人多模态交互仍面临多重挑战。实时性瓶颈是最突出的技术难题——大模型的推理延迟与家庭场景对实时响应的要求存在矛盾。数据隐私与安全同样关键——家庭是高度私密的空间，机器人的持续感知不可避免地涉及敏感信息。交互自然度不足也是现实问题——尽管大模型显著提升了语义理解能力，但机器人在多轮对话、打断恢复、情感共鸣等方面仍显生硬。伦理与价值对齐不容忽视——当机器人需要主动预判用户需求并采取行动时，如何确保其决策与人类价值观一致。
5.2 未来发展趋势
展望未来，大模型服务机器人多模态交互将在以下方向持续演进。端侧大模型的轻量化部署将缓解实时性瓶颈——科沃斯已在终端部署0.7B至7B的端侧模型。世界模型与强化学习的深度融合将提升机器人的环境理解与自主决策能力。长期记忆与个性化学习将使机器人从“通用工具”进化为“家庭伙伴”。情感计算能力的持续突破将推动人机交互从“功能满足”走向“情感连接”。
六、结语
大模型技术正在从根本上改变家庭服务机器人的交互范式。从科沃斯的端侧意图识别，到傅利叶的语义任务执行中枢，从心言“巴布”的主动陪伴，到星炽动力的VLA具身大模型——这些实践共同勾勒出一条清晰的技术演进路径：家庭服务机器人正在从“听懂指令”走向“理解意图”，从“被动响应”走向“主动服务”，从“功能工具”走向“家庭伙伴”。
多模态交互意图识别与响应策略的核心突破在于，大模型打通了从模糊自然语言到精确物理动作的转化通道。当机器人能够在非结构化的家庭环境中理解用户的隐性需求、自主规划长序列任务、并根据个性化记忆持续优化行为策略时，“具身智能”便从实验室概念走进了真实生活。正如傅利叶“具身之家”所展示的，当用户说出“我渴了”这样一句模糊的话语时，机器人能够自主完成意图判断、任务拆解、空间定位、导航规划和任务执行的全链条闭环——这不仅是技术的进步，更是人机关系从“工具使用”走向“伙伴共处”的范式革命。
参考文献
[1] Robi Butler: Multimodal Remote Interaction with a Household Robot Assistant[C]. IEEE International Conference on Robotics and Automation (ICRA), 2025.
[2] 科沃斯与阿里云达成全栈AI合作，扫地机器人产品已接入通义千问[N]. 新京报, 2025-09-27.
[3] 科沃斯携手阿里云共推家庭服务机器人智能化升级[EB/OL]. 中关村在线, 2025-09-28.
[4] 傅利叶“具身之家”技术解决方案[EB/OL]. 极客公园, 2026-07-17.
[5] 傅利叶亮相WAIC 2026：机器人管家系统上线，多款陪伴新品集中发布[N]. 中国电子报, 2026-07-18.
