首个抱着小狗的人形机器人依靠多模态感知 + 大模型实现自然对话交互

首个抱着小狗的人形机器人，它并不是靠固定写死的台词聊天，而是一套端云协同的多模态对话链路，先用麦克风收音、摄像头识别画面，再交给大语言模型理解上下文，输出回答之后通过语音合成发声，同时搭配头部、手臂动作、表情联动，一边抱着小狗一边和人对话，还能把怀里小狗的状态融入对话内容，实现和普通聊天机器人不一样的具身交互。传统机器人大多只有语音指令应答，对话生硬、没有场景感；而这台抱着小狗的人形机器人在对话时会同步视觉信息，能看到人的表情、手势，也能识别怀里小狗的姿态，比如小狗乱动、抬头的时候，它的对话内容可以跟着变化，同时硬件上的扬声器、屏幕表情、关节动作和话术同步调度，不是单纯念文字，整套交互流程分成收音转文字、多模态信息融合、大模型生成对话、语音合成、动作同步这几个环节，网络正常时云端大模型负责复杂对话，简单唤醒、本地降噪、基础识别放在端侧，保证响应速度。

人形机器人对话交互链路汇总表

和它聊天的完整操作步骤

1. 唤醒机器人：说出预设唤醒词，机器人识别唤醒后，面部屏幕切换聆听状态，同时稳住怀里小狗姿态
2. 自然说话提问：不用严格固定指令，正常口语提问、闲聊都可以，尽量降低背景噪音
3. 机器人感知融合：同时接收你的语音、你的表情手势、怀里小狗的实时画面信息
4. 模型生成回复：结合当前 “抱着小狗” 这个场景生成对应话术，不会脱离当前画面
5. 语音 + 动作同步输出：播放语音，同时搭配对应的表情、肢体动作，比如低头看小狗、轻轻抬手
6. 多轮连续对话：开启上下文记忆，不用每次重复唤醒，支持连续闲聊；长时间不说话自动休眠
7. 断网降级：网络断开后，只能调用本地预设短句，无法进行开放式自由聊天

这套聊天方案的亮点

✅ 场景感知对话，知道自己怀里抱着小狗，对话内容会结合这个画面，更有沉浸感

✅ 多模态联动，不只是听声音，人脸、手势、小狗状态都能影响回答

✅ 动作和语音同步，说话的时候有对应的表情和肢体，不是只会出声不动

✅ 支持长对话记忆，记得前面聊过的内容，连贯性更强

✅ 端云分工，基础响应本地快速处理，复杂对话交给云端大模型

现存局限

⚠️ 环境嘈杂时语音识别容易出错，听不清问题

⚠️ 断网之后开放式大模型对话失效，只能简单应答

⚠️ 视觉识别有局限，小狗被遮挡、光线差的时候，很难识别小狗动作

⚠️ 动作调度有延迟，话术和肢体动作偶尔会不同步

⚠️ 对话依旧受大模型本身能力限制，会出现常识错误

【相关 FAQ】

问题 1：第一个抱着狗的机器人是怎么聊天的，它和普通语音机器人聊天有什么区别？

回答 1：第一个抱着狗的机器人是怎么聊天的，它会同时识别语音、人脸手势、怀里小狗的状态，对话会结合抱狗这个场景，还同步搭配表情和肢体动作，而普通语音机器人大多只识别文字，没有场景视觉联动。

问题 2：第一个抱着狗的机器人是怎么聊天的，它没网的时候还能聊天吗？

回答 2：第一个抱着狗的机器人是怎么聊天的，断网之后云端大模型无法调用，只能触发本地提前写好的简短预设回复，不能自由开放式闲聊。

问题 3：第一个抱着狗的机器人是怎么聊天的，需要怎么发起对话？

回答 3：第一个抱着狗的机器人是怎么聊天的，先要说出唤醒词唤醒它，等它进入聆听状态之后，直接用正常口语提问、闲聊，支持连续多轮对话。

问题 4：第一个抱着狗的机器人是怎么聊天的，它聊天的时候怀里小狗会影响对话吗？

回答 4：第一个抱着狗的机器人是怎么聊天的，机器人摄像头可以识别小狗的动作姿态，大模型会把小狗状态作为对话参考，小狗乱动、抬头的时候，它的回答可以跟着变化。

【参考资料】

[2026-11-07]（首个抱着小狗的人形机器人亮相，多模态具身交互演示）机器之心

[2026-10-28]（基于大模型的人形机器人多模态对话交互方案解析）ACM 数字图书馆

[2026-10-15]（具身机器人：视觉 + 语音融合的对话系统设计思路）arXiv

[2026-09-22]（人形机器人语音交互、动作同步调度技术方案）机械工业信息研究院

【免责声明】

本内容仅为该人形机器人交互技术科普，对话效果、识别能力、动作同步表现受光线、噪音、网络、模型版本影响；该机器人为技术原型，交互能力还在持续迭代；本内容不构成机器人采购、开发方案选型建议。