PhysX-Omni:从图片到可交互三维资产

用户7496

8月23日修改

本文档介绍 PhysX-Omni 的图像到仿真资产处理流程，逐项解释 VLM 结构文本、RLE 体素、NumPy 坐标、TRELLIS 网格、URDF/MJCF 以及 Isaac Sim 中的最终资产，并给出各阶段可采用的增强技术。​

1.
PhysX-Omni 介绍​

PhysX-Omni 面向“图像到物理仿真资产”的生成任务。它不仅生成物体外形，还同时建立部件 ID、材料属性、父子关系和关节参数，使输出能够继续转换为 URDF 与 MJCF，并进入 Isaac Sim、MuJoCo 等仿真环境。​

官方推理由三个入口组成：

1.
1vlm_demo.py：读取图片，调用视觉语言模型生成对象结构、部件、材料、关节和逐部件 64³ RLE 体素。​

2.
2infer_geo.py：调用 decoder_each.py，把条件图与体素坐标交给 TRELLIS，生成逐部件网格。​

3.
3jsongen_update.py：解析结构文本，把部件网格装配为 URDF 与 MJCF/XML。​

因此，PhysX-Omni 的主要产物包含两类信息：一类是 basic_info.txt、basic_info.json 中的语义与运动结构；另一类是 ind_N.npy、OBJ/GLB 中的几何。资产装配阶段通过共同的部件 ID l_N 把两类信息重新对应起来。​

2.
运行环境​

基础环境包括 Python 3.10、PhysX-Omni 预训练模型与 TRELLIS image-large。VLM 侧使用 transformers==4.50.0、qwen-vl-utils 。​

代码块

git clone --recurse-submodules https://github.com/physx-omni/PhysX-Omni.git​
cd PhysX-Omni​
conda create -n physx-omni python=3.10​
conda activate physx-omni​
pip install -r requirements.txt​
pip install transformers==4.50.0 qwen-vl-utils "accelerate>=0.26.0"​
python download.py​

输出验证建议同时准备 Isaac Sim 与 MuJoCo。URDF 进入 Isaac Sim，MJCF/XML 进入 MuJoCo；网格可使用 Blender、MeshLab 或 trimesh 检查。​

3.
PhysX-Omni 处理流程​

下图给出图片进入 PhysX-Omni 后的完整数据流。

common.docs_name - LarkCCM_Docs_Menu_Image

3.1 文件格式速查

PhysX-Omni:从图片到可交互三维资产​

PhysX-Omni:从图片到可交互三维资产