精读笔记
Problem Setting
[SOV-CAD: Stepwise Orthographic Views Guided CAD Modeling Sequence Reconstruction]（arXiv preprint / 2026）
这篇论文实际处理的是 image/orthographic-view conditioned CAD sequence reconstruction：给定目标几何的正交三视图，恢复一条可执行的 CAD 建模序列。真正困难不是三维重建本身，而是把几何目标映射到一串离散命令 + 量化参数 + sketch/feature 交替的程序轨迹。这个映射高度多解，且 CAD kernel 对局部错误很敏感：一个 sketch 参数或 feature 顺序错误会改变后续所有状态。
以前方法主要卡在 holistic generation：把完整 CAD 序列或 B-Rep 当成一个整体 latent / token sequence 来生成。这样做的问题是模型必须同时解决目标理解、当前状态记忆、剩余差异估计和可执行性约束；中间没有显式反馈，一旦早期动作偏离，后续预测仍然沿着错误隐状态继续。本文抓住的关键矛盾是：CAD 建模天然是闭环、逐步的，但现有模型训练和推理大多是开环、一次性的。
Motivation
已有路线不够的原因不是缺少视觉 encoder 或更复杂 decoder，而是缺少“当前构造状态”这个核心变量。CAD reconstruction 如果只看目标图像和历史 token，本质上要求网络在隐空间中维护一个可执行 CAD kernel 的近似状态；这对长序列和 sketch-heavy 模型尤其不友好。
作者的核心观察是：人类 CAD 建模依赖持续视觉检查，而不是在脑中一次性生成完整 feature tree。因此关键缺口是 visual feedback 没有进入 action selection loop。已有 visual refinement 方法把视觉比较放在后处理阶段，不能在每一步改变下一步决策。SOV-CAD 想补的是这个闭环：让模型每一步都看到目标、当前模型、当前 sketch，从而把“下一步该做什么”局部化。
Core Idea
论文真正的核心不是“用了 Decision Transformer”，而是把 CAD 程序恢复重新组织成一个带外部状态反馈的 sequential decision problem。目标三视图提供固定目标条件；CAD kernel 执行到当前步后渲染出的三视图和 sketch canvas 提供动态状态；模型在这个状态下预测下一条 CAD 命令。这样，状态不再完全压在 Transformer hidden state 里，而是通过 CAD kernel + renderer 外部化。
这个建模方式引入了一个很强的 inductive bias：CAD 序列生成应当以几何进度为条件，而不是只以 token prefix 为条件。它理论上更 scalable，因为长程序被拆成许多“当前形状到目标形状还差什么”的局部决策；也可能更 generalizable，因为三视图状态把不同历史路径映射到相似几何进度，减少了对特定 action prefix 的依赖。和 prior 的本质区别是信息流从 open-loop program decoding 变成了 closed-loop state-conditioned imitation。
Method
方法中真正关键的机制可以压缩为四个。
第一，stepwise visual state 解决状态不可见问题。每一步把当前 partial CAD model 渲染成 front/top/left 三视图，使模型直接观察已构造几何，而不是从历史命令中推断它。核心变化是把长期记忆问题转化成视觉状态匹配问题。
第二，active sketch canvas 解决 sketch 阶段的状态退化问题。连续 sketch 操作可能不改变 3D solid，如果只看 solid 三视图，多个动作处于同一可见状态，监督会混淆。sketch canvas 让模型知道草图已经画到哪里，这是论文里比 reward 更关键的机制。
第三，return-to-go/reward token 提供进度条件。训练时 reward 来自 IoU improvement，return-to-go 表示剩余几何差距；推理时在没有 target mesh 的情况下用 pHash 近似三视图相似度。它的作用更像 alignment/progress signal，而不是传统 RL 中的探索信号。
第四，Decision Transformer 只是把 offline trajectories 组织成状态-回报-动作序列。由于没有在线交互，也没有真正策略优化，这里的 RL 成分应理解为 reward-conditioned behavior cloning；它提供了一个合理接口，但不是性能提升的唯一解释。
Key Insight / Why It Works
最重要的 insight 是：CAD sequence reconstruction 的难点很大一部分来自隐式状态维护，而不是单步命令分类本身。SOV-CAD 通过每步执行 CAD kernel 并重新渲染，把 hidden state 外包给环境；Transformer 不必完整模拟 CAD 几何累积，只需在可见中间状态上做下一步决策。这是一个强 representation alignment：目标、当前模型和 sketch 都被投到同一视觉 token 空间，动作预测变成差异驱动。
最可能的核心贡献是 stepwise orthographic state + sketch canvas，而不是 offline RL 标签。消融也基本支持这一点：去掉 sketch 崩溃最大，去掉 reward 只小幅下降。reward/return-to-go 可能只是提供了一个弱 curriculum 或 progress embedding，使模型更容易学习“朝目标接近”的趋势；它是否带来真正 planning，文中证据不足。
这套方法也带有 test-time compute / simulator-in-the-loop 的味道：每生成一步就调用 CAD kernel 更新状态，再把状态喂回模型。相比纯 autoregressive 生成，它用额外执行和渲染换取更低的模型内部记忆负担。性能提升可能来自 better inductive bias + hidden supervision，而不只是模型能力。
需要警惕的是，所谓“human-like”更多是表述层面的类比。模型并没有显式搜索、回溯、约束求解或长期规划；它仍然是在离线专家轨迹上做条件 imitation。若 benchmark 的形状、命令分布和参数模式覆盖充分，模型看起来会像在推理；但在分布外 feature 组合上，这种能力可能退化为 retrieval-like behavior。
Relation To Prior Work
它最接近三条技术谱系：DeepCAD/SkexGen/CADParser 这类 CAD sequence modeling，PlankAssembly/orthographic reconstruction 这类多视图到程序/几何映射，以及 Decision Transformer 式 offline RL。SOV-CAD 的新意不是任何单个模块，而是把三者接起来：用 CAD kernel 生成中间视觉状态，再用 DT 风格轨迹建模预测下一步 CAD action。
相对 DeepCAD/SkexGen，区别在于它不把程序生成视作纯 latent-to-sequence 或 autoregressive code generation，而是每一步重新观测 partial geometry。相对 CADParser，它不依赖 B-Rep embedding 作为目标条件，而是用更通用的正交视图，并引入中间状态反馈。相对 CADCrafter/Img2CAD 等 image-to-CAD 方法，它关注的是程序执行过程中的闭环，而不是一次性从图像生成完整结构。
看似新的“offline RL + DT”其实是已有思想重组：reward-conditioned sequence modeling、visual state feedback、CAD kernel execution 都不是新概念。实质创新在于把 stepwise orthographic supervision 系统性地放进 CAD sequence recovery，并证明它在现有 synthetic CAD benchmark 上有效。真正新增的信息是中间状态，不是更强的 decoder。
Dataset / Evaluation
评估主要在 CADParser 和 DeepCAD 这类 synthetic / dataset-generated CAD 序列上进行，覆盖的是规范化 CAD 命令空间和可渲染的机械式形状。它验证了在标准离线 benchmark 上，stepwise feedback 能提升几何一致性和有效率；尤其 ablation 能支持“中间视图”和“sketch canvas”是关键因素。
但 evaluation 对核心 claim 的支撑仍有限。首先，输入是干净的正交三视图，而不是真实世界照片、扫描数据或不规范工程图；这弱化了 2D-to-3D ambiguity。其次，训练和测试都处于 CAD dataset 的命令分布内，泛化更多是 dataset-level transfer，而不是工程场景泛化。第三，baseline 需要被改造成三视图条件生成，适配质量会影响比较公平性。第四，非几何推理用 pHash 近似 reward，但 pHash 是否能稳定指导复杂 CAD 差异，文中没有充分证明。
因此，实验支持“stepwise visual supervision 是比 holistic decoding 更好的 benchmark inductive bias”，但还不能证明它已经解决真实 CAD reverse engineering。
Limitation
最大限制是方法把一部分难题转移给了 CAD kernel execution、stepwise rendering 和规范三视图输入。训练时需要每一步的中间模型、视图、sketch 和 IoU，这在真实设计数据中未必可得。推理时也依赖生成动作可执行；一旦动作非法或偏离专家状态，offline DT 没有在线纠错学习机制。
泛化 claim 需要谨慎。模型可能主要依赖数据覆盖和 benchmark overlap：常见 sketch/feature pattern 被充分覆盖时，stepwise state 能帮助检索相似构造轨迹；但对新的 feature ordering、复杂约束草图、多体操作、工程语义约束，是否仍能组合泛化，文中未充分说明。
reward 设计存在训练-推理错配。训练用 target mesh 的 IoU gain，推理在无几何时用 pHash 三视图相似度模拟 return-to-go；这两个信号不等价，尤其对遮挡、局部孔洞、拓扑差异和尺度对齐可能不稳定。作者也承认 reward design 仍是 open question。
另外，RL 叙事略强。没有在线 exploration，也没有显式 value learning 或 policy improvement；更准确地说是 reward/state-conditioned supervised imitation。若把它称为 planner，证据不足。长期状态建模主要由外部 CAD kernel 和可视化反馈承担，而不是模型内部学到。
Takeaway
- 第一，CAD 程序恢复的关键不一定是更强的 program decoder，而是把中间几何状态显式放回输入；closed-loop state feedback 是比 holistic latent 更合适的归纳偏置。
- 第二，active sketch 是 CAD sequence modeling 中被低估的状态变量。
- 只看 3D solid 会让 sketch 阶段不可观测，导致监督歧义；这条 insight 可以迁移到任何“中间操作不立即改变最终对象”的程序生成任务。
- 第三，Decision Transformer 在这里的价值主要是统一状态、动作、进度信号，而不是带来真正 RL。
一句话总结
SOV-CAD 是一篇把 CAD 序列恢复从 holistic token generation 推向 stepwise feedback-conditioned imitation 的工作，真正贡献在于引入中间正交视图和 sketch 作为外部化状态，而不是 Decision Transformer 本身。