智元发布开源仿真平台 Genie Sim 3.0

智元机器人正式推出首款由大语言模型赋能的开源仿真平台——genie sim 3.0。该平台基于 nvidia isaac sim 构建，深度融合三维重建与视觉生成技术，构建具备数字孪生精度的高保真仿真环境；业内首次引入大语言模型驱动的场景泛化能力，支持万级规模仿真场景在数分钟内批量生成。

• 高精度重建：搭载 metaCam 手持式3D激光扫描设备，融合高分辨率RGB图像、360° LiDAR点云数据及厘米级RTK定位信息，实现对物理空间的毫米级还原。
• 视觉逼真增强：集成先进视觉生成模型，智能补全并合成多视角图像，显著提升三维重建结果的纹理质量与视觉真实感。
• 快速资产创建：针对任意实物对象，仅需一段60秒环绕拍摄视频，即可自动生成带精确拓扑结构与几何细节的仿真网格模型，大幅缩短建模周期。

在 Genie Sim 3.0 中，开发者可通过自然语言指令，触发平台在分钟级别内完成海量训练与测试场景的自动化构建与泛化。

• 对话式建模：输入如「准备一顿富含蛋白质和维生素的晚餐」等语义指令，系统自动解析意图并生成结构完整、要素齐全的仿真场景。
• 交互式编辑与扩展：所生成场景附带结构化语义标签与实时渲染预览，支持通过持续对话进行场景增广、元素增删、空间布局优化等操作，最终输出高度定制化的仿真环境。

此外，智元将同步开源一个覆盖真实机器人作业场景的超大规模仿真数据集，总时长逾万小时，涵盖200余类典型任务：

Autoppt：打造高效与精美PPT的AI工具

• 多模态数据覆盖：数据集包含RGB-D图像、双目立体视觉流、全身关节位姿、力反馈等多源传感器信号，并在背景多样性、空间布局、光照条件、传感器噪声等多个维度实现系统性泛化。
• 智能采集系统：平台提供低延迟遥操作与全自动任务编排两种采集模式，配合端到端自动化标注流程，显著提升数据生产效率。
• 自适应容错机制：当任务执行失败时，系统可自主回溯至最近稳定检查点并继续采集，更大限度减少无效数据损耗。
• 无须真实样本的Sim2Real迁移：基于该仿真数据训练的模型，无需任何真实世界微调，即可直接部署至实体机器人，任务成功率超越使用真实数据训练的基线模型。

源码地址：点击下载