让一栋房子开口说话：语音 Agent 的完整工程链

从语音输入走到物理反馈

原文作者把车库门做成一张会说话的嘴：Nemotron 负责听懂和回应，Magpie TTS 产生声音，Audio2Face-3D 将声音转成口型。视觉支路还用于描述服装、跟踪来访者。它展示了语音 Agent 如何从聊天框走向空间交互。

工程重点不是给模型一个有趣人设，而是把一次拜访定义成有起点、有结束、可打断的会话。识别结果、回复文本、音频和动画需要共享同一次交互的身份。

角色一致性来自状态管理

作者用海盗船的背景、人设提示和 LoRA 来塑造角色，并跟踪来访者是否已经通过礼貌用语赢得角色好感。状态保留让第二句话不必从头谈判，这比单句回答是否生动更影响体验。

本站建议将人物设定与事实状态分开：模型可以生成措辞，应用负责维护访问状态、重置条件和可执行动作。过期的回复不能驱动新一轮交互。

本地运行仍要计算整条链路

文章说明装置在单台工作站运行，但工作站包含专业 GPU。这里的“本地”描述部署位置，不能直接推导普通手机也能达到同样表现。语音、渲染、视觉各自都有资源开销。

可用的验收包括首段语音时间、用户打断后的停止时间、多人说话时的行为，以及声音与口型的同步。不要只测语言模型生成速度。

实践检查表

• 为每次会话分配独立 ID，丢弃过期异步结果。
• 把识别、推理、合成、渲染分别计时。
• 断网、听不清、重复来访应有明确恢复路径。