精读笔记
Problem Setting
论文标题：Optimal Hidden-Target Learning for Online Inventory Optimization on General Convex Sets（arXiv preprint / 2026）。
这篇论文实际处理的是 OCO 与库存物理状态耦合后的 feasibility 问题：每轮想选 y_t∈Y，但还必须 y_t≥x_t；而 x_t 是过去 order-up-to level 经 demand depletion 后留下的 carryover。因此，在线学习器的“想去哪里”与系统“现在能去哪里”不是同一个集合。
关键矛盾是：OCO 的 regret 分析希望目标可以每轮按梯度平滑移动；库存系统只允许库存通过需求下降，不能主动把已在货架上的库存降下来。于是 base learner 如果提出一个较低目标，可能在物理上不可实施。
以前 general-convex OIO 方法 MaxCOSD 用 adaptive cycles 等待可实施时刻，鲁棒但代价是 regret 对 UPPD 参数 μ 呈 O~(sqrt(T)/μ) 级依赖。hidden-target 方法在 linear warehouse constraint 下有效，但分析依赖 productwise sell-out 和线性容量守恒；一旦 Y 是 curved convex set，逐产品误差不再控制 projection gap。论文卡点就在这里：如何在不使用线性预算结构的情况下控制 state-dependent feasibility cost。
Motivation
已有路线不够的原因不是算法原则弱，而是分析变量错了。productwise queue 跟踪的是 (x_t-z_t)^+ 这种 coordinatewise violation；但 regret 真正支付的是 ||z_t-y_t||，即 hidden target 到 implementable set 的 projection gap。在一般凸集合上，这两个量没有统一比较关系：某个坐标上很小的 inventory violation 可以沿 curved boundary 强迫其他坐标发生大位移。
作者的核心观察是：如果把可实施性误差定义为“hidden target 到当前 feasible set 的距离”，并且这个距离与 projection 使用同一个 norm，那么需求对库存的 coordinatewise 清空可以转化成对这个几何距离的 queue service。
因此论文想补的缺口是：给 hidden-target projection 一个不依赖线性仓储结构、不依赖 productwise accounting 的 general-convex regret analysis。换句话说，缺的不是新的 inventory policy，而是一个能让 hidden-target principle 在 arbitrary convex sets 上闭合的 geometric state variable。
Core Idea
核心思想是把 OIO 的复杂状态依赖压缩成一个一维 queue。base learner 始终在固定容量集合 Y 上产生 hidden target z_t；系统实际执行 y_t=Proj_{J_t}(z_t)，其中 J_t=Y∩{y≥x_t} 是当前可实施集合。定义 q_t=dist(z_t,J_t)=||z_t-y_t||。论文证明，在 admissible norm 且 norm-aligned 的条件下，q_t 满足 q_{t+1} ≤ [q_t + ||z_{t+1}-z_t|| - d_t^{min}]_+。 这里 target movement 是 arrival，common demand 是 service。
这改变了建模方式：之前把库存 feasibility 看成逐产品 sell-out 事件；本文把它看成 hidden target 与 feasible set 之间的几何距离演化。这个 inductive bias 更 general，因为它只需要 convexity、projection optimality 和 coordinatewise demand depletion，不需要 Y 有线性预算或 product decomposition。
直觉上它有效是因为 hidden target 的移动是学习器唯一能主动制造的新 infeasibility，而 common demand 是系统唯一能消除 carryover 的机制。把这两者放进同一个 queue 后，inventory layer 不再需要理解 loss，也不需要理解 base learner；base learner 也不需要显式处理 sell-out。
Method
1. Hidden-target projection：解决 state-dependent action set 难以直接做 OCO 的问题。z_t 在固定 Y 上更新，y_t 是投影到 J_t 的可实施动作。核心变化是把 learning dynamics 和 physical feasibility 分层。
2. Regret decomposition：把 OIO regret 分成 base linearized regret 与 implementation gap G*∑||z_t-y_t||。这一步说明真正需要控制的不是库存状态本身，而是 hidden target 与 implemented action 的距离。
3. Norm alignment：projection norm、gap norm、movement norm 必须一致，且 norm dominates l_infty。它解决的是 projection certificate 是否能用于 queue 递推的问题。如果 projection 在 l2、queue 却用 l1，只能通过 norm conversion，常数会进入递推内部并在 clearing window 中指数放大。这个点是方法成立的硬条件，不是调参细节。
4. Geometric Lindley recursion：通过 short-move lemma 说明：若从 y_t 移动不超过 common demand d_t^{min}，则该点在下一轮仍可实施；若 z_{t+1} 更远，则沿 y_t 到 z_{t+1} 的线段取一个距离 d_t^{min} 的 feasible witness。projection optimality 给出 q_{t+1} 的上界。这是全文最核心的证明机制。
5. OCO with switching-cost reduction：UPPD 给出长度 Bδ≈μ^{-1}log(T/δ) 的 clearing windows；若 base learner 在任意窗口内移动不超过 ρ，则 queue 会被需求 shock 清空，从而 ∑q_t ≤ Bδ∑||z_{t+1}-z_t||。之后 OGD/SOGD/OMD 只是不同 base learner 对 regret 与 movement 的 tradeoff。
Key Insight / Why It Works
最重要 insight 是：general-convex OIO 的正确状态变量不是 productwise backlog，而是 norm-aligned projection distance。这个选择让“库存消耗”从 coordinatewise 物理过程变成一个对 regret-relevant gap 的 scalar service process。
方法真正有效的原因有三层。第一，projection distance 是 regret decomposition 中真实出现的误差项，因此 queue 控制的是目标量本身，而不是一个需要额外 bridge 的 proxy。第二，admissible norm 把 norm ball 包进 l_infty ball，使 common demand d_t^{min} 能保证短距离移动后的 coordinatewise feasibility。第三，convexity 允许在 y_t 和 z_{t+1} 之间构造 feasible witness；projection optimality 再把 witness distance 转成 q_{t+1} 上界。
我认为核心贡献几乎完全在这个 geometric queue reduction，而不是 OGD/SOGD/OMD 实例。OGD 给 O~(sqrt(T/μ))、strongly convex 给 polylog、dynamic regret 接 path variation，这些都是标准 OCO machinery 接上 switching-cost 后的自然结果。真正新增的信息是：inventory feasibility cost 可以在 general convex geometry 中被表示成 aligned norm 下的一维 queue。
这不是 scaling，也不是 data coverage，也不是更强 optimizer；它是 representation alignment / latent state choice 的贡献。论文把状态表示从 coordinate-level sell-out 改成 projection-distance latent queue，因此消除了 prior 对线性约束的依赖。所谓 dimension-free 也来自这种 norm-based representation，而不是算法在高维 demand primitive 上真的没有困难。
辅助部分包括 lower bound、OMD refinement 和 experiments。lower bound 很重要，因为它说明 μ^{-1/2} 在 UPPD 下是不可避免的；OMD refinement 说明 reduction 不依赖 Euclidean geometry；但这些都服务于主 insight。实验更像 sanity check，不是本文说服力的主要来源。
Relation To Prior Work
最接近的是三条线：Hihat et al. 的 MaxCOSD general-convex OIO，Shi et al. / Ichikawa et al. 的 hidden-target 或 projected base-stock 方法，以及传统 stochastic inventory learning 中的 queueing analysis。
与 MaxCOSD 的本质差异是：MaxCOSD 通过等待/cycle 让 implemented target 可更新；本文不等可实施才学习，而是每轮学习 hidden target，同时把不可实施性作为 queue 误差处理。这直接改善 μ 依赖，从等待时间线性付费变成平方根级付费。
与 Ichikawa et al. 的差异更关键：两者算法原则相似，甚至都可看成 hidden-target projection；真正不同是分析状态变量。Ichikawa 的 proof 依赖 linear capacity 下的 productwise sell-out / l1 accounting；本文用 projection-distance queue，因此可覆盖 arbitrary convex sets，并自然得到 l2 path variation 而非 l1 path variation。
与 stochastic inventory queueing work 的关系是“重用 queue 思想，但换 queue”。早期 queue 跟踪产品级库存误差；本文跟踪几何 projection gap。这个变化是实质创新，不是简单把已有 queue proof 搬到 adversarial OCO。
OMD 部分属于标准 mirror descent + switching-control 的组合；新意在于证明 inventory layer 与 regularizer geometry 可以解耦。它不是新的 mirror descent 算法，而是说明 general-convex OIO reduction 能接受不同 OCO geometry。
Dataset / Evaluation
实验覆盖三类场景：synthetic linear warehouse、curved l2 capacity、M5 real retail demand traces，并附加强 convex / dynamic / dimension scaling 的 sanity tests。覆盖范围足以说明 HT-OGD 在常见多产品库存环境中不是纯理论构造，并且在 curved capacity 上比依赖线性结构的 DDM 更自然。
但 evaluation 对核心理论 claim 的支持是有限的。核心 claim 是 worst-case adversarial regret 与 μ 依赖、general-convex feasibility reduction；实验主要是 stochastic demand 和 real traces 上的 empirical regret，对 UPPD worst-case sharpness 并没有直接验证。M5 真实数据有价值，但没有充分分析 common-demand probability 在高维稀疏场景下是否合理。
实验中 HT-OGD 优于 MaxCOSD / DDM 是合理的，但增益来源不完全清楚：可能来自 hidden-target 每轮更新、projection smoothness、stepsize tuning，也可能来自 benchmark 不够 adversarial。论文没有做很强的 ablation 来分离 norm alignment、hidden target、OGD movement control 各自贡献。不过对于这类理论论文，实验主要作为 corroboration 而非主要证据，这一点可以接受。
Limitation
最核心限制是 UPPD。要求 d_t^{min} 以概率 μ 超过 ρ，本质是所有产品同时出现 common demand shock。高维稀疏零售中 μ 可能极小，甚至随 n 指数衰减。论文的 dimension-free guarantee 因此只是在给定 μ 的条件下没有额外显式 n 因子；真实系统中难度可能完全藏进 μ。
第二，base learner 需要满足 clearing-window movement bound。OGD/SOGD/OMD 可以通过选择步长满足，但这需要知道或估计 μ、ρ。若这些参数未知，当前结果并不是 fully adaptive；文中只把 parameter-free OCO 作为未来方向，未充分说明。
第三，一般 convex projection oracle 是强假设。每轮要投影到 J_t=Y∩{y≥x_t}，对于复杂 capacity set 可能不是廉价操作。论文把这作为 standard OCO oracle model，但在真实 inventory deployment 中可能是主要 engineering bottleneck。
第四，norm alignment 同时是强点也是限制。它要求学习器 movement、projection、queue 都用同一 norm；如果最适合 loss geometry 的 norm 与最适合 feasibility geometry 的 norm 不一致，理论会逼迫二者绑定。OMD 缓解了这个问题，但没有完全消除 norm choice 的 tradeoff。
第五，lower bound 证明的是 UPPD primitive 下的 minimax μ 依赖，不代表任何更细粒度 demand model 下都不能更好。事实上作者自己也指出 local clearing condition 可能更合理；这说明本文可能是把问题从 general-convex feasibility 转移到了 demand primitive 的保守性上。
Takeaway
- 1. general-convex OIO 的关键不是设计更复杂的库存策略，而是选对 feasibility state：projection-distance queue 比 productwise backlog 更本质。
- 2. Norm alignment 是可迁移 insight：在有 state-dependent feasible set 的在线问题中，如果 projection certificate、error metric、movement cost 不在同一几何里，分析可能根本无法闭合，而不是只损失常数。
- 3. 这篇论文把 OIO reduction 成 OCO with switching cost；未来算法进展大概率来自更好的 movement-aware / parameter-free OCO base learner，以及更合理的 local demand clearing primitive。
- 4. 该工作真正推动的是 generality 和 sharp μ dependence，而不是经验性能；实验只是说明方法没有明显 practical failure。
一句话总结
这篇论文把 hidden-target inventory learning 从依赖线性仓储 sell-out 结构的技巧，提升为一个 norm-aligned geometric queue reduction，从而给 general convex OIO 获得最优 UPPD regret 的统一框架。