精读笔记

Problem Setting

这篇论文不是在重新定义 3DSSG，而是在问一个现有 benchmark 很少显式检查的问题：同一个 3D scene 在不同 yaw observation frame 下，模型预测的 scene graph 是否按语义上应有的方式变换。真正困难点在 predicate 层，而不是 object 层：物体身份大体应稳定，但关系标签中有一小部分是 observation-frame-dependent 的方向谓词，另一大部分是 yaw-invariant 的接触、支撑、语义关系。

传统方法卡在一个隐含假设：所有谓词共享同一种 relation representation 和同一套几何编码。这个假设在 canonical benchmark 上问题不明显，因为训练/测试坐标系一致；一旦旋转观察坐标系，模型需要同时满足“standing on 不变”和“left 变成 front/right/behind 中某个标签”的要求。共享表示会把应保留的信号和应变换的信号混在一起，导致 90°/270° 这种轴交换情形下显著失稳。

所以任务的关键矛盾是 heterogeneous predicate transformation law 与 homogeneous relation modeling 之间的不匹配。作者把这个矛盾明确化，是这篇论文最有价值的起点。

Motivation

已有路线主要沿两条线推进：更强 object feature、更强 relation/context message passing，或者借助视觉语言先验提升语义识别。但这些路线默认谓词空间是一个平坦 label set，没有把 predicate 的几何变换行为作为建模对象。旋转增强可以让模型见到更多坐标姿态，但它只是扩大数据覆盖，并不改变模型把 invariant 与 directional cues 混合处理的结构。

作者的核心观察是 baseline 在 180° 下相对稳定、在 90°/270° 下明显崩。这个现象很有诊断价值：如果只是一般 rotation robustness 差，180° 也应显著掉；但 180° 更多是方向对翻转，而 90°/270° 涉及 left-right axis 与 front-behind axis 的交换。也就是说，模型学到了一些局部几何/符号反转，但没有学到完整 C4 predicate action。

关键缺口因此不是“缺旋转不变特征”，而是“缺按谓词变换类型组织 relation reasoning 的 inductive bias”。这也是论文区别于一般 equivariant/invariant point cloud work 的动机：不是所有东西都应该不变，也不是所有东西都应该等变；predicate 本身有不同的 group action。

Core Idea

核心思想可以概括为：把 relation representation 从单一 entangled latent space 改成 transformation-factorized latent space。TAD 不要求整个模型对 yaw 统一 invariant 或 equivariant，而是把谓词分成 yaw-invariant 与 direction-sensitive 两类，并让模型在 descriptor、参数、监督三个层面分别学习这两类 cues。最终再把两个 relation factors 合并回原始 multi-label predicate space。

这个设计引入的 inductive bias 很直接：方向关系需要 signed horizontal geometry 和 angle；稳定关系更需要距离、高度差、尺度、形状和上下文，而不应过度依赖水平有向坐标。把这两类输入和参数路径分开，可以减少 gradient conflict：同一条边上可能同时有 standing on 和 left，如果用单一 embedding，优化会迫使同一表示既对旋转敏感又对旋转不敏感；分支化后，模型可以把两种行为放在不同 latent factors 中。

与 prior 的本质区别不在于用了 GNN、aux loss 或 RI-MAE，而在于它把 predicate transformation behavior 显式放进 relation modeling。它不是简单提升 backbone，也不是后处理修正标签，而是改变了关系信息流的组织方式：先按变换规律分解证据，再统一预测。这使它比纯 augmentation 更可能具备可迁移性，至少在变换群和谓词 action 已知时如此。

Method

方法上真正关键的机制有四个。

第一，VSOE 用 rotation-stable object encoder 把 object-level 表示尽量从 yaw frame 中剥离出来。它解决的是关系推理前端的视角噪声问题：如果节点特征本身随观察坐标漂移，relation branch 很难只处理 predicate transformation。这里 VSOE 更像必要的稳定底座，而不是论文最核心的创新。

第二，transformation-specific descriptors 是最硬的 inductive bias。directional descriptor 保留 Δx、Δy、cos/sin angle 等有向水平信息；invariant descriptor 用水平距离、3D 距离、高度差、尺度/形状统计，刻意抑制水平朝向。它解决的是输入层的信息泄漏问题：如果 invariant branch 也直接看到 signed orientation，它仍可能学习到 spurious directional shortcuts。

第三，parameter-decoupled relation branches 解决的是表示和梯度混叠。两个 branch 非共享参数，使 invariant cue 与 directional cue 不必在同一 GNN message passing 空间里竞争。这一点比“多一个 head”更重要，因为冲突发生在 relation feature construction 阶段，而不只是分类层。

第四，group-aware auxiliary supervision 和 orthogonal regularization 用来防止分支退化。aux head 强迫 invariant branch 对非方向谓词有用、directional branch 对方向谓词有用；orthogonal loss 降低两个 latent factors 的冗余。但这部分更像 specialization pressure，核心有效性仍主要来自 descriptor + parameter decoupling。

Key Insight / Why It Works

这篇论文最重要的 insight 是：3DSSG 的 rotation robustness 不能用统一不变性来解决，因为关系标签本身不是同一种几何对象。有些谓词是 frame-invariant semantic/contact facts，有些谓词是 observer-frame-indexed directional symbols。把它们放在一个 representation 里，相当于要求同一 latent variable 同时满足不变和置换等变，这在有限数据和普通 MLP/GNN 下会自然产生 shortcut。

TAD 有效的主要原因是 better inductive bias，而不是 scaling。它手工提供了一个接近真实生成机制的分解：object identity 稳定；非方向关系依赖相对距离、高度、接触/语义上下文；方向关系依赖水平有向位移。这个分解直接降低了需要从数据中学习的群结构复杂度。rotation augmentation 需要模型从四倍样本中自己发现 C4 action；TAD 则把 C4 action 的相关变量预先隔离出来。

最可能的核心贡献是 predicate-level transformation decoupling，尤其是 descriptor-level separation 与 branch-level parameter separation 的组合。VSOE 带来性能收益，但从对照看它不是解决 90°/270° 崩溃的充分条件；aux loss 和 orthogonal loss 可能是稳定训练与防塌缩的工程增强。若只看机制贡献，TSD + non-shared relation branch 应该是主因。

这不是 retrieval、memory reuse、test-time compute 或 curriculum；也不像传统 equivariant network 那样学习严格群表示。它更接近“把 label space 的 group action 编进 architecture/data interface”。因此它的泛化能力上限由人工定义的 transformation groups 决定：在已知离散 yaw 与明确方向谓词上很强，但不自动扩展到语义模糊、连续视角或 agent/world frame 混杂的关系。

需要警惕的评估偏置是：3DSSG 中方向标签与坐标位移高度一致，作者也报告 sign consistency 接近 100%。这意味着方向谓词在该 benchmark 上很大程度可由几何规则解释，TAD 的优势部分来自把这个规则结构化注入模型。论文声称 deterministic post-hoc GeoRule 不够，说明 representation learning 仍有价值；但这也提示其核心问题可能比真实语言关系理解更几何、更闭集。

Relation To Prior Work

最接近的 prior 不是一般 3DSGG SOTA，而是三类路线的交叉：基于相对几何的 3D relation modeling、rotation-invariant/equivariant point cloud representation、以及 label/group-aware 多分支建模。TAD 把这些已有思想重新组合到 predicate transformation heterogeneity 这个具体问题上。

相对 3DSSG 方法如 SGFN、VL-SAT、OCRL，真正差异是它不再把所有 predicate 当成同构标签，而是认为谓词空间内部存在不同 transformation law。VL-SAT/OCRL 可能有更强语义或 object representation，但 relation head 仍是 entangled 的，因此在 C4 axis exchange 上缺结构约束。

相对 rotation-equivariant/invariant networks，TAD 的差异是更细粒度：不是让全部 point/object/scene feature 对 SO(3) 或 SE(3) invariant/equivariant，而是只在 gravity-aligned yaw 下，对不同 predicate group 施加不同输出行为。这是实质创新点，因为 scene graph predicate 是符号标签，其变换不是连续特征旋转，而是 label permutation + label invariance 的混合。

看似新的部分中，RI-MAE encoder、GNN、auxiliary heads、orthogonality regularization 都不是新思想；它们是服务于分解假设的工程组件。真正新增的信息是：把 predicate vocabulary 视为带 group action 的结构化空间，并据此设计 relation feature factorization。

Dataset / Evaluation

实验主要在 3DSSG/3RScan 的 closed-vocabulary indoor scene setting 上进行，使用四个离散 yaw 角构造 controlled robustness protocol。这个 evaluation 对核心 claim 是有针对性的：它固定物理场景和 instance masks，只旋转输入坐标并按规则置换方向标签，从而隔离 predicate-level transformation behavior。用 PredCls 作为 robustness 主指标也合理，因为它减少 object classification error 的干扰。

但覆盖范围明显有限。首先，四个 cardinal yaw 是离散 C4，不等价于连续 yaw robustness；90°/180°/270° 的标签置换是干净且人工可定义的，真实机器人视角、传感噪声、partial observation、重建误差会复杂得多。其次，方向谓词与几何位移高度一致，这使 benchmark 很适合验证该方法，但也可能高估它对更语义化关系的泛化。

论文比较了 rotation augmentation 和 GeoRule-Hybrid，这是加分点：它说明单纯数据覆盖和后处理规则都不如结构化表示。但 evaluation 仍没有充分证明开放世界、跨数据集、真机 embodied deployment 或语言指令场景下的收益。它验证的是“闭集 3DSSG 在已知 yaw group 下的 relation consistency”，不是更广义的 3D relational reasoning。

Limitation

最大限制是 predicate group 是人工指定的。left/front/right/behind 被归为 direction-sensitive，其余 22 类近似 invariant；这个划分在 3DSSG 上合理，但不是普适事实。例如 near、facing、inside、covering、hanging on 等关系在不同数据集和任务语义中可能既含方向又含功能/接触约束。方法把难点从学习 transformation law 转移到预定义 predicate taxonomy。

第二，方法依赖 gravity-aligned indoor scene 和 observer-frame yaw。若坐标系定义变化，或者机器人任务中 direction 应绑定 agent egocentric frame、world frame、object canonical frame，当前 permutation 规则可能失效。文中未充分说明多 frame 共存时如何处理语义冲突。

第三，泛化上限受 handcrafted descriptors 限制。TAD 在离散 C4 下有效，是因为 signed offsets、angle、distance 等变量几乎就是方向谓词的充分统计量；这既是优势也是局限。面对连续 yaw、非刚性场景、partial scans 或语义关系占主导的 predicate，增益可能下降。

第四，增益来源并非完全干净。VSOE、RI-MAE、双分支增加容量、descriptor engineering、auxiliary loss 同时存在；虽然 ablation 指向 decoupling，但容量增加和更强几何先验的贡献仍不可能完全剥离。部分效果可能主要来自把 benchmark 的几何标注规则显式注入，而不是模型学到了更一般的关系推理。

第五，它没有真正解决 open-vocabulary 或 learned predicate transformation groups。未来如果 predicate set 扩大，人工为每个关系定义 transformation behavior 会变成维护成本，也可能引入错误归类。

Takeaway

• 1. 3D relation robustness 的关键不只是做 rotation-invariant object feature，而是要承认 predicate label 本身有不同的 transformation law；这是比 backbone 更重要的建模层级。
• 2. 对符号输出任务，group action 往往发生在 label space，而不仅是 feature space。
• 把 label permutation/invariance 编进 relation architecture，可能比盲目使用 equivariant backbone 更有效。
• 3. 最值得迁移的 insight 是 transformation-aware factorization：在多任务、多关系、多模态系统中，如果不同输出头对输入扰动的期望行为相反，应先按变换行为分解 latent factors，而不是让共享表示自己调和。

一句话总结

这篇论文把 3DSSG 的视角鲁棒性问题从“更强特征/更多增强”推进到“按谓词变换规律重构 relation representation”，属于把 label-space group action 显式注入关系建模的结构化 inductive-bias 方法。