离线生成与闭环交互回答不同问题
NVIDIA 于 11 月 2 日发布的文章介绍 Cosmos 3 Nano 的仿真流程。Transfer-Auto 对整个多视角片段进行双向生成,面向离线合成数据;Sim-Auto 则采用因果、少步蒸馏的方式逐步生成观察,让驾驶策略或人工输入更新场景,再把相机与 LiDAR 观察返回策略。
本站判断,选型应先确定需要的是一批可重复使用的数据,还是动作会改变下一时刻观察的交互环境。离线视频看起来连续,并不能证明策略接入后仍能形成稳定闭环;后者还要测动作、场景更新与观察返回的完整周期。
多传感器一致性比单张画面更重要
原文中的自动驾驶流程使用 World Scenario Map 控制车道、对象与道路要素,并在联合 RGB–LiDAR 生成中加入地图控制。参考输出的检查包括生成成功标记、LiDAR 数值有限性,以及场景控制、不同相机视角和 LiDAR 之间的一致性。
本站建议把时间对齐、几何对应与场景约束分开验收。改变天气和光照时,可以检查既定轨迹与道路布局是否保留;若生成结果偏离输入控制,不能仅凭视觉效果把它当成正确训练标签。训练与评估场景也应隔离,避免在已见条件上高估效果。
框架能力与服务部署是两个层次
来源将 Cosmos Framework 用于训练、适配、优化和推理,将 Cosmos NIM 用于优化后的容器服务。部署部分强调先选择适配 GPU 的模型配置,等待就绪,再检查元数据;Generator 的 latency 与 throughput 配置分别面向单请求延迟和并发处理量。
原文明确指出,throughput 配置需要多张兼容 GPU,直接把单 GPU 示例的配置改为 throughput 会选不到对应运行档案。本站建议先复现与设备匹配的最小流程,再分别测单请求完成时间与目标并发下的处理量,不用一个吞吐数字同时代表两种体验。
显存表不能脱离任务与精度阅读
原文正文表格对 Cosmos3-Nano 的生成任务分别列出 BF16 58 GiB、FP8 44 GiB,以及 FP8 加 offloading 31 GiB 的 GPU 显存要求。这些是来源给定任务与配置的要求,不能套用到另一模型、推理任务或任意并发量;本站未运行这些模型,也未复现性能数据。
本站建议同时记录显存、主机内存、数据传输和端到端耗时。offloading 会改变数据放置方式,GPU 占用降低后仍需核对其他资源与延迟。生成仿真可以帮助筛选策略,后续仍应通过目标场景的验证来判断可用性,不能把生成画面等同于真实环境测量。
实践检查表
- 先区分离线数据生成与动作驱动的闭环评估,分别定义完成条件。
- 核对时间、几何和场景控制的一致性,保留传感器配置与数据来源。
- 固定模型、精度、GPU 数量和服务配置,先验就绪状态再发请求。
- 同时记录显存、主机内存、延迟与并发,不把供应方配置表当作本站实测。
Build World Models for Interactive Simulation with NVIDIA Cosmos ↗
原文日期 2026-11-02 · 最后核对 2026-11-03
本文保留原文事实、本站判断与适用边界。来源全文、模型许可与使用要求以原作者发布为准。