资讯

小米开源 Xiaomi-Robotics-U0：具身领域首个“通吃”四类任务的统一生成模型

• 100万+ 浏览
• 30万+ 评论
• 2024年5月1

小米于 7 月 15 日推出了 Xiaomi-Robotics-U0，这是一款拥有 380 亿参数的多模态自回归具身生成基础模型。该模型被誉为具身智能领域的首个能够统一处理四类任务的模型，实现了机器人领域图像和视频数据的生成及编辑功能。

• 具身场景生成（Scene Generation）：该模型能够根据文本指令，为特定机器人本体生成多视角的初始场景。无论是桌面、厨房、仓库等常见环境，还是更复杂的开放世界场景，都能通过语言描述来创建相应的机器人观测视角。

• 具身迁移（Embodied Transfer）：Xiaomi-Robotics-U0 能够将已有的机器人运动轨迹迁移到新的环境中。这意味着可以改变光照、背景、桌面材质、目标物体或工作区风格，同时保持原始轨迹中的机械臂姿态和场景布局。

• 机器人交互视频生成（Video Generation）：模型可以基于初始观测和操作指令生成后续视频，确保动作的连贯性和物理上的合理性，并且能够实现零样本泛化到各种场景。

• 通用文生图和图像编辑（Text2Image & Anything2Image）：该模型还具备通用的图像生成和编辑能力，能够将互联网上的视觉知识融入到具身智能任务中。

官方指出，该模型可以在保持几何一致性的前提下，对现有数据进行增强，例如更换物体、光照、背景或添加干扰，而无需重新收集数据。此外，它还能从零开始生成全新的场景，覆盖真实机器人难以触及的危险、极端或长尾环境。通过 FlashAR+ 推理加速方案，其生成效率相比原始自回归范式提升了近 83 倍，显著加快了工程落地的步伐。这为规模化生成具身训练数据以提升模型效果提供了可控且高效的解决方案。

在 WorldArena 评测基准中，Xiaomi-Robotics-U0 获得了总分第一的成绩，在 126 个参评模型中脱颖而出。在真实机器人评测中，使用 Xiaomi-Robotics-U0 扩充数据训练的策略，在未知光照和陌生背景等非分布（Out of Distribution）场景下，任务完成率平均提升超过 26%。

相关的代码和模型权重已全部开源。

爱游戏体育围绕聚合更新资讯，助你畅玩无忧不断创新，回应用户的真实需求。

掌握最新游戏动态

精选多元化娱乐内容，满足不同玩家需求内容，爱游戏体育与你一同发现更多精彩。

深入解读游戏精髓

聚合更新资讯

• 最新游戏发布
• 热门游戏攻略
• 电竞赛事报道
• 游戏行业分析
• 玩家社区活动
• 游戏文化探索
• 虚拟现实游戏
• 独立游戏推荐
• 游戏硬件评测
• 未来游戏趋势

作者：玩家小李 爱游戏提供的攻略真的太详细了，让我这种手残党也能轻松通关，感谢！

爱游戏体育专注爱游戏官网，为用户提供专业可靠的体验。

爱游戏体育深耕聚焦热门游戏，第一时间掌握最新动态领域，用心服务每一位用户。