精读笔记

Problem Setting

论文要解决的是神经网络输出必须满足输入相关的逻辑-线性混合约束时，如何在训练和推理阶段都给出硬可行性保证。这里的难点不是规则表达，而是规则一旦包含 implication、or、not、piecewise linear condition，就变成 union/intersection of polyhedra，本质上是 MILP feasible set。已有 differentiable optimization layer 只能舒适地处理凸连续约束；已有 neuro-symbolic 方法多用 penalty 或 fuzzy logic surrogate，无法保证 feasibility；ILP decoding 虽然能硬满足，但通常不可微且只是后处理。关键矛盾是：逻辑规则要求离散选择，而端到端学习要求连续可微；普通 LP relaxation 又会产生 fractional 解，满足 relaxation 不等于满足原规则。

Motivation

作者切入点很明确：领域规则在科学/工程任务中往往比数据更稳定，尤其低数据和 OOD 时，纯 data-driven 模型容易违反结构性约束。但现有路线缺少一个同时满足五个属性的机制：logical、linear、mixed continuous/discrete、hard satisfaction、input-dependent。本文的核心观察是，neuro-symbolic 里的 QF-LRA 规则和 optimization 里的 MILP 约束其实都可以落到 disjunctive programming 的表示里；而 disjunctive programming 已经有 convex hull reformulation 这一套工具。缺口不是“如何写规则”，而是如何把非凸规则集合转成可微优化层，同时不牺牲原始规则满足。

Core Idea

核心思想是把规则系统从“逻辑公式”重写成“激活规则集合上的 intersection of unions of polyhedra”，再用 disjunctive convex hull 把非凸投影问题变成 LP 层。真正关键的一步是：不是先在原始 y 空间把 feasible set 凸化，而是先把 L1 投影的 epigraph 变量 η 和全局约束塞进每个 disjunct，然后在 lifted (y, η) 空间做 convex hull。这样线性目标最小化会倾向于落在 lifted hull 的 extreme point，而 extreme point 对应某个原始 disjunct，因此可恢复原始逻辑满足。

和 prior 的本质区别在于：它不是用 soft logic 改 loss，也不是用 ILP 后处理，更不是一般意义上的 LP relaxation；它试图构造原始非凸集合的最紧凸包，并利用 LP extreme point 的结构给 exact satisfaction。新的 inductive bias 是一个显式的 rule-feasible projection operator：网络先自由预测，再被投影到规则兼容区域；训练时梯度通过该投影回传，使模型逐渐学会靠近规则可行流形。

Method

第一，input-dependent rule activation：每条规则有 activation set A_r，只有 x 落入该区域才约束 y。这解决了很多真实规则不是全局恒定约束的问题，也是它相对 MultiplexNet / fixed combinatorial layer 的重要扩展。

第二，rule consequent 统一为 finite union of polyhedra。这样 implication、disjunction、linear inequalities、MILP-representable constraints 都可以落入同一形式。这个统一不是表面记号，而是后续 convex hull reformulation 的入口。

第三，L1 projection layer。网络输出 y_hat 后，求离其最近的 rule-feasible y。选 L1 不是随意的：L1 可用线性 epigraph 精确表示，使整个投影保持 LP；若用 L2，当前 exactness 证明和 LP 层形式都不直接成立。

第四，CNF / DNF / partial-DNF convexification。CNF 是逐条规则分别取 convex hull 再求交，规模线性但松；DNF 先枚举 active rules 的 disjunct 组合，再对这些交集取 convex hull，得到原始 feasible set 的 convex hull，因此有 exactness；partial-DNF 是把部分规则展开，作为紧度和复杂度之间的实用折中。

第五，differentiable LP/QP backward。前向解 extended LP；反向通过 KKT implicit differentiation，且为改善可微性使用 regularized strongly convex approximation。这一部分更多是让方法可训练的工程桥接，不是 exact satisfaction 的理论来源。

Key Insight / Why It Works

这篇最重要的 insight 是：对非凸逻辑 feasible set 做投影时，不能只看 y 空间的 convex hull；必须把距离目标的 epigraph 结构一起 lift 后再 convexify。否则例如 [0,3] ∪ [7,10] 的 naive hull 会允许 4.5 这种明显违反规则的点。把 η 放进 disjunct 后，优化的是 lifted hull 上的最低点；线性目标的最优解可以取 extreme point，而 finite union of polyhedra 的 convex hull extreme point 属于原始某个 polyhedron，于是 exact satisfaction 成立。

真正有效的部分是“lifted convex hull + extreme point exactness”，不是神经网络结构，也不是训练技巧。DNF 的贡献在于把多个规则之间的交互显式展开；CNF 之所以可能失败，是因为 convex hull 和 intersection 不可交换，逐规则松弛会引入原始规则系统中不存在的组合。partial-DNF 的作用类似结构化 tightening / curriculum：逐步把关键交互从 relaxation 中消掉。

从归因看，性能提升主要来自 better inductive bias 和 test-time compute，而不是 representation learning 本身。模型每个样本都额外求一个优化问题，本质上把规则满足交给 solver。低数据/OOD 的泛化提升也并不神秘：如果 ground-truth 生成机制和规则高度一致，projection 会显著缩小 hypothesis space。synthetic cooling 中这种一致性很强，所以增益有一部分可能来自任务构造本身；scRNA 中规则更噪，accuracy 随数据增多被 base model 反超，说明 projection 的主要价值是 hard adherence，而不是无条件提升预测。

Relation To Prior Work

它最接近三条线：differentiable optimization layers、MIP/LP relaxation as layer、neuro-symbolic hard/soft constraint learning。和 OptNet/CVXPYlayers 的差异是约束类别从凸连续扩展到 disjunctive / MILP-representable，但依然通过凸优化层求解。和 Semantic Loss、DL2、LTN 等 soft logic 的差异是约束满足不是 loss bias，而是 projection 后的 hard feasibility。和 MIPaaL、LP relaxation、SATNet 等的差异在于它强调 convex hull relaxation 的 tightness，并给出 DNF extreme-point exactness，而不是把 relaxation 当启发式。

不过，很多“新”成分本身来自经典 disjunctive programming：union of polyhedra、Balas extended formulation、CNF/DNF hierarchy 都不是新数学。本文的实质创新在于把这套 convexification 放进神经网络投影层，并注意到 epigraph 必须嵌入 disjunct 内才能让投影 exact。也就是说，它不是提出新的优化理论，而是把 disjunctive programming 的一个精确凸化机制迁移到 neural-symbolic hard constraint enforcement 中。

Dataset / Evaluation

评估覆盖一个合成控制任务和一个 scRNA-seq 分类任务。synthetic cooling 很适合验证机制：低维连续输出、多条 input-dependent disjunctive safety rules、可明确计算 CSAT，并可构造 OOD shift。它支持“方法能硬满足规则并在规则正确时改善 OOD”的 claim，但也有明显自洽性：目标由规则感知 oracle 生成，规则和标签机制高度一致，因此增益不完全能外推到规则不完备或规则错误场景。

scRNA-seq 更真实，规则来自 marker gene，输出是 simplex 上的类别概率，展示了分类场景也能写成 disjunction。但这里规则有噪声和矛盾，作者对 infeasible active rule samples 选择 bypass projection，并在 CSAT 统计中排除 contradicting samples；这对 exact satisfaction claim 是合理边界，但也弱化了真实部署含义。实验基本证明了：在小规模规则系统中，DNF/CNF projection 比 penalty 更能提高 CSAT；但没有证明方法能处理大规模复杂逻辑推理，也没有充分展示高维、多任务、长链规则组合下的可扩展性。

Limitation

核心前提很强。第一，规则必须能表示成 bounded polyhedral disjunction，并且 active rule system 最好可满足；否则 projection 要么 infeasible，要么需要绕过/修补。第二，DNF exactness 的代价是指数级 disjunct combination；论文的 stress test 到 10 条 active binary rules 仍可跑，但这远不是大规模 neuro-symbolic reasoning。第三，exact satisfaction 依赖 solver 返回 optimal extreme point；如果求解器返回 convex combination、退化最优面上的 interior point，理论保证不自动成立。第四，端到端可微性并不干净：LP solution map 对参数可能不连续，作者用 regularized backward 近似，forward exact 与 backward surrogate 存在 mismatch。

更深的问题是，这个方法没有学习规则，也没有处理规则冲突，只是假设规则库可靠。对于真实科学/工程系统，这个假设经常是最难的部分。方法把“如何推理”转化为“每个样本解一个投影 LP”，所以所谓 reasoning 更像 solver-mediated constraint repair，而不是模型内部形成了符号推理能力。泛化提升主要依赖规则覆盖目标机制；当规则只覆盖粗粒度先验或存在系统性偏差时，projection 可能牺牲 accuracy，这在 scRNA 高数据 regime 已经有迹象。

Takeaway

• 1. 最值得迁移的 insight 是：若要用凸优化层 enforce 非凸逻辑规则，必须 convexify lifted objective-feasible structure，而不是只 convexify output feasible set。
• 2. DNF convex hull 给了一个清晰的理论端点：可解释、可证明、但指数级；未来真正有价值的是 adaptive partial-DNF，即自动识别哪些规则交互需要展开。
• 3. 这类方法的优势场景很明确：规则可靠、active rules 少到中等、可行性比纯 accuracy 更重要、每样本 solver compute 可接受。
• 4. 它推动的不是通用神经符号推理，而是 hard-constrained prediction layer 的表达能力边界：从凸连续约束推进到 input-dependent MILP/QF-LRA 级别。

一句话总结

DisjunctiveNet 是把经典 disjunctive programming 的 lifted convex-hull formulation 嵌入神经网络投影层，用 solver-time extreme-point 结构换取 input-dependent 逻辑-线性约束硬满足的一类 neuro-symbolic optimization-layer 方法。