精读笔记

Problem Setting

这篇论文解决的是静态 3D object articulation reconstruction：输入一个 mesh，输出 kinematic parts、每个 part 的 surface assignment，以及 joint motion parameters。重点不是从图像恢复几何本身，而是把已有或生成的几何变成 articulated asset。

真正困难点是 label ambiguity 和 data scarcity 的组合。一个物体可以有多种合理 articulation 粒度：微波炉可以只开门，也可以分出按钮、旋钮、转盘；桌子可以把四条腿作为同类部件，也可以作为四个 instance；咖啡机内部小部件是否可动也取决于标注协议。传统 supervised model 假设一个输入对应一个标准答案，但 articulated object 的“标准答案”本身并不稳定。

以前方法主要卡在两个地方：一是 articulated datasets 太小，导致模型记住 PartNet-Mobility 式类别和结构；二是开放式预测把 part discovery、semantic naming、kinematic graph、joint axis/range 全部压在模型上，输出空间过于多解，训练信号互相冲突。本文的关键矛盾是：想利用大规模异构 3D 数据，但异构数据越多，标注语义越不一致；如果不改变建模方式，scaling 反而会引入 label noise。

Motivation

作者的动机很直接：articulated annotation 少，但普通 3D asset、part-level asset 和 AI-generated mesh 很多；同时 VLM 已经能从 2D 视图中识别“哪些部件可能可动”。因此与其等待高质量人工 URDF 数据，不如用 VLM 把现有 3D 资产弱标注成 articulated/part-conditioned 数据。

但仅靠 pseudo-label scaling 不够，因为不同来源的数据天然有不同 part granularity。作者意识到，必须给模型一个外部 specification，告诉它这次要抽取哪套结构。这个观察比具体架构更重要：数据规模化的前提是目标可条件化，否则 heterogeneous supervision 会互相抵消。

所以本文缺口不是“如何设计更强 point transformer”，而是“如何让 articulation learning 接受非统一标注协议”。kinematic prompt 是把监督协议显式输入模型的一种方式。

Core Idea

核心思想是把 articulated reconstruction 从 unconditional prediction 改成 instruction-conditioned extraction。模型看到的不只是 mesh，还看到目标 part 列表、part text、optional point prompt、kinematic tree 和 joint type；它的任务是把 mesh 上的点分配到这些被指定的 part，并估计这些指定 joint 的参数。

这个改写引入了一个强 inductive bias：part identity 不再完全由几何聚类或网络内部 latent slot 自发形成，而是由外部 condition 锚定。text prompt 提供语义先验，point prompt 提供实例锚点，kinematic tree 提供结构约束。这样模型学习的是“给定一套结构描述，如何在 3D surface 上落地”，而不是“从零猜一套结构”。

本质区别在于：prior work 多数试图学习一个 canonical articulation prior；本文学习的是一个 conditional articulation operator。这个 operator 更适合 scaling，因为不同数据源中的不同标注粒度可以被视为不同 instruction 下的合法输出，而不是互相矛盾的 label。

Method

方法的关键不在 transformer block 数量，而在信息流如何组织。

第一，VLM-based data engine 解决数据覆盖问题。它从多视图渲染中让 VLM 提出 articulated part inventory/kinematic structure，再通过固定颜色方案生成 2D masks 并反投影到 3D。这一步把海量 static mesh 转化为带 kinematic part labels 的弱监督数据。它的作用是扩大类别和形态分布，而不是提供精确物理关节。

第二，part-segmented asset captioning 解决 text/geometry alignment。已有 part decomposition 不一定是 kinematic parts，但仍能训练模型把 part description、point prompt 和局部几何对应起来。这里重要的是处理同名部件：没有 canonical orientation 时避免随意 left/right；多个同类 part 靠 point prompt 区分。这直接服务于 conditional segmentation 的稳定性。

第三，Articraft 数据补足 joint supervision。大量 pseudo-labeled 数据只有 segmentation/part prompt，没有真实 axis/range；因此完整 joint 参数主要依赖已有 articulated datasets 和 agent-generated assets。这个设计说明论文的 motion learning 并没有完全被 VLM pseudo-label 解决。

第四，模型把 mesh 编码成 shape tokens，把 part condition 编成 part tokens，把 surface query 编成 query tokens；query 通过 shape 和 part tokens 预测 part assignment，joint 通过 child-part query point 的局部 vote 聚合成全局 axis/range。这种设计把 dense segmentation 和 sparse joint fitting 分离，避免直接回归整棵 URDF 的不稳定性。

Key Insight / Why It Works

我认为真正有效的部分有两个：第一是 conditionalization，第二是 data coverage。架构本身更多是合理工程整合。

conditionalization 有效，是因为 articulation annotation 的核心噪声不是随机误差，而是多模态语义选择。没有 condition 时，模型面对同一个外观可能对应多种合法 part tree，只能学到平均化或 dataset-majority 的结构；有 condition 后，多模态性被转移到输入端，输出变成相对确定的 assignment/fitting 问题。这是本文最有迁移价值的 insight。

data coverage 有效，是因为长尾 articulated objects 的难点经常不是复杂动力学，而是小部件识别和类别覆盖。按钮、旋钮、抽屉、门、托盘、盖子这些结构在几何上有相似模式，但需要足够多外观和类别实例才能泛化。本文用 150k+ heterogeneous assets 把这部分覆盖起来，所以比只在 PartNet-Mobility/GRScenes 上训练的模型明显稳。

point prompt 的贡献可能被低估。ablation 显示去掉 point prompt 退化很大，这说明模型很多时候不是纯靠语言理解“right knob”或“drawer handle”，而是靠点锚定实例，然后做局部 region growing/assignment。换句话说，最强模式更接近 prompted segmentation + joint fitting，而不是 fully autonomous articulation reasoning。

VLM 在这里更像数据引擎和 test-time condition proposer，而不是最终模型内部的 reasoning 模块。所谓 open-vocabulary 泛化有相当部分来自 VLM 的 part prior 和数据覆盖；Instruct-Particulate 学的是把这些 noisy high-level priors 落到 3D geometry 上。这是非常实用的分工，但不要误读成模型自己具备了强功能理解。

joint estimation 的增益归因相对不清。论文显示 Articraft 数据改善 axis metrics，但 motion range 的语义真实性、物理合理性和可操作性没有被充分验证。per-query over-parameterized voting 是从 Particulate 继承的稳定训练技巧，属于必要工程，但不是新的 conceptual leap。

Relation To Prior Work

最接近的是 Particulate：同样是 feed-forward mesh-to-articulation，同样用 per-query over-parameterized joint targets 再几何聚合。Instruct-Particulate 相比 Particulate 的实质变化不是 joint decoder，而是引入 kinematic instruction，并把训练数据从小规模 articulated datasets 扩展到大规模异构弱监督数据。

和 URDF-Anything/PhysX-Anything/SINGAPO/PAct 这类 image-to-articulated-asset 方法相比，本文把几何生成和 articulation recovery 解耦：先用 off-the-shelf 3D generator 得到 mesh，再做 conditional articulation。这种 decomposition 更稳，因为 articulation 模型不必同时承担 single-view 3D reconstruction 的不确定性。缺点是 mesh generator 的 artifact 会直接传播。

和 PartField/P3SAM 等 3D part segmentation 方法相比，本文的 part 不是一般 semantic part，而是 kinematic part，并且输出还要带 joint parameters。更重要的是，part definition 由 kinematic condition 指定，不是 fixed taxonomy 或纯 promptable semantic mask。

和 VLM/LLM-based URDF generation 路线相比，本文没有让语言模型直接生成完整结构和参数，而是用 neural 3D model 做 dense surface grounding。这是合理分工：VLM 擅长提出 part inventory，3D network 擅长把 part 落到几何表面并拟合 axis。

看似新的部分中，VLM pseudo-label、prompted segmentation、over-parameterized joint regression 都有前例；实质创新是把它们组织成一个可 scale 的 conditional articulation learning pipeline。

Dataset / Evaluation

数据覆盖是论文最强的部分：混合了已有 articulated assets、HY3D part-level assets、VLM pseudo-labeled synthetic assets、Articraft generated articulated assets，规模超过 150k，类别远大于传统 articulated datasets。这确实支撑了“更强长尾泛化”的主张。

评估主要在 Lightwheel 上做，包含一些 prior datasets 中缺少的类别和小部件，对检验跨类别泛化有价值。结果也显示 mesh-only、image-only、mesh+kinematic 三种模式下都优于基线，尤其 conditional setting 提升很大。

但 evaluation 仍有明显边界。第一，最强结果使用 ground-truth kinematic condition 和 point prompts，这验证的是在正确 specification 下的 extraction，而不是自动发现整套 articulation。第二，image-only pipeline 依赖 HY3D-3.1 生成 mesh 和 VLM 生成 condition，误差来源复杂，benchmark 上的提升不能完全归因于 Instruct-Particulate 本体。第三，指标主要是 part match、IoU/Chamfer、axis error/location error，没有验证物理可仿真性、碰撞正确性、joint limit 功能性或 robot manipulation 成功率。

此外，训练数据里包含大量 AI-generated/agent-generated assets，测试也包含 AI-generated mesh 场景；这种分布上的相似性可能有利于表现。是否真正泛化到 noisy scans、CAD 工业件、真实机器人感知 mesh，文中未充分说明。

Limitation

最大限制是问题被部分转移：模型需要 kinematic condition，而自动 condition 又依赖 VLM。若 VLM 漏掉小部件、错判 joint type、给错 connectivity 或 point prompt，后续模型大概率只能忠实执行错误 specification。论文展示了 VLM 可自动生成 condition，但没有充分量化这一环节的 failure rate。

第二，核心能力可能主要来自数据覆盖，而不是抽象物理推理。模型并未显式建模功能、接触、力学约束或可操作性；joint range 也只是从监督数据中回归/拟合。对未见过的复杂机构，如闭链、齿轮、滑轨嵌套、多自由度铰链，泛化上限可疑。

第三，输出离 simulation-ready 仍有距离。作者也承认缺物理属性，AI-generated meshes 可能有 floating components、missing separation、过高面数。对 embodied AI 来说，仅有 kinematic segmentation 和 axis 还不够，需要 collision geometry、mass/inertia、joint limits 的可执行性、稳定接触等。

第四，pseudo-label pipeline 的噪声结构没有被充分剖析。VLM colored-mask 反投影会留下 occluded unlabeled regions，也可能在小部件、透明/反光/内部结构上系统性失败。训练时如何处理这些部分、噪声是否导致模型偏向可见外部部件，文中未充分说明。

第五，泛化 claim 需要更严苛验证。Lightwheel 虽然比传统 benchmark 更难，但仍是离线资产集。没有真实扫描、真实机器人交互、跨 3D generator、跨 VLM condition generator 的系统测试。benchmark overlap 或 implicit memorization 的风险不能完全排除，尤其在大规模 synthetic/AI-generated 数据时代，分布边界很难界定。

Takeaway

• 1. 最值得记住的是：对于存在多种合法标注粒度的 3D structure prediction，直接 scale heterogeneous data 会制造冲突；必须把目标结构显式条件化。
• 这个思想可迁移到 part segmentation、scene graph、affordance、物体功能分解等任务。
• 2. VLM 最有效的角色不一定是 end-to-end solver，而是 data engine + condition proposer；然后由专门的 3D model 做几何 grounding。
• 这种分工比让 LLM 直接吐 URDF 更可靠。

一句话总结

Instruct-Particulate 是把 3D articulated reconstruction 从小数据上的 unconditional structure prediction 推向大规模异构数据上的 instruction-conditioned geometric grounding 的一篇工作，真正贡献在于用 kinematic prompting 消解标注多解性并释放 data scaling，而不是单纯提出一个新网络。