精读笔记
Problem Setting
这篇论文处理的是指数族噪声下的张量补全：观测不是简单 additive Gaussian，而是条件于潜在自然参数张量 X 的 exponential-family sample，例如 Gaussian、Poisson、one-bit/Rademacher。关键矛盾是：张量补全需要强结构假设，但视觉张量中的结构既不是单纯全局低秩，也不是单纯局部 TV 稀疏；梯度域同时存在 sparse jumps 和 low-rank/correlated variations。以前方法的卡点在于，TATV 只利用稀疏跳变，TCTV/t-CTV 只利用梯度低秩，Poisson/one-bit 工作通常针对特定噪声且多为凸模型；理论上很难同时覆盖非凸 regularizer、general sampling distribution、指数族似然和 TV seminorm。本文真正想解决的是：能否把“梯度稀疏 + 梯度低秩 + 指数族似然”做成一个统一且可证明的估计框架。
Motivation
作者的核心观察很明确：视觉张量的梯度张量 entry histogram 高度集中在零附近，同时 transformed t-SVD 下的奇异值快速衰减。也就是说，梯度域里存在两种不同层次的 compressibility：element-level sparsity 和 slice/correlation-level low-rankness。已有路线缺的是一个能同时表达这两种结构、且不把其中一种当作附属项的正则化。另一个缺口是理论层面：TV 在 tensor completion 中很常用，但在 exponential-family noise 和非凸 penalty 下缺少恢复误差分析。作者选择 TL1 的动机也比较直接：L1/nuclear norm 对大系数偏置重，TL1 在 a 有限时更接近 counting/rank penalty，可更强地驱动小梯度和小奇异值消失。
Core Idea
核心思想不是“再加一个 TV 项”，而是改变张量补全的结构假设：不再主要假设原张量本身低秩，而是假设它的多方向梯度张量同时是 sparse 且 transformed low-rank。这个建模方式把 piecewise-smooth visual tensor 的局部边界结构和跨通道/跨帧相关性放到同一个梯度域里处理。
理论上这可能有效，因为 completion 的可辨识性来自缩小假设空间：TATV 限制非零变化的位置数，TCTV 限制变化模式的相关维度，二者交集比任一单独约束都更小。非凸 TL1 进一步把 convex relaxation 的软偏置减弱，使模型更接近真正的 l0/rank 先验。和 prior 的本质区别是：它不是原张量 nuclear norm + TV 的简单 composite，也不是只对梯度做 nuclear norm，而是在梯度域同时施加 entry-wise 和 spectral-wise 的非凸压缩。
Method
方法的关键机制可以压缩成四点。
1. Exponential-family ERM：用 F(X_w)-Y_w X_w 作为观测 loss，把 Gaussian、Poisson、one-bit 等统一成同一个自然参数估计问题。它解决的是噪声模型分裂问题，使理论不依赖某一个特定 likelihood。
2. TATV_a：对各方向梯度张量的 entries 施加 TL1 penalty。它解决的是 piecewise smooth 场景中大量局部差分为零或近零的问题，核心变化是从平滑惩罚转为稀疏跳变建模。
3. TCTV_a：对梯度张量在变换域的 face slices 做 singular-value TL1 penalty。它解决的是不同空间/时间/光谱 slice 的梯度模式高度相关的问题，核心变化是把低秩性从原信号域转移到梯度域。
4. TDTV_a：把上述两者直接加到同一个目标上，而不是显式分解背景/稀疏成分。这样做的好处是避免引入额外 latent decomposition，但代价是两个正则参数和 TL1 参数的归因变得不干净。
ADMM 只是把 Z、G_k、H_k 分裂后分别做 likelihood prox、TL1 singular-value shrinkage 和 TL1 entry shrinkage；这是可用性工程，不是本文最深的机制创新。
Key Insight / Why It Works
最重要的 insight 是：在视觉张量补全里，真正有用的低复杂度结构往往不在 X 本身，而在 ∇X。原张量可能因为纹理、运动、光谱变化而不够低秩，但其梯度模式通常更稀疏、更可压缩、更跨 slice 相关。因此，TDTV 的有效性主要来自 better inductive bias，而不是 scaling、retrieval、memory reuse 或 test-time compute。
TCTV 和 TATV 的互补性是实质贡献。TATV 擅长保边和 piecewise constant 区域，但容易忽略跨帧/跨谱相关；TCTV 擅长捕获相关变化模式，但单独使用时可能允许过多细碎梯度 entry。TDTV 把“哪里变化”和“变化模式是否低维”同时限制住，这比单一 TV 更强。
非凸 TL1 的贡献更微妙。实验显示 TDTV0.5 优于 TDTV∞，但理论上最干净的简化 bound 反而需要 a^{-1}=O((alpha sqrt(N))^{-1})，也就是接近凸极限；当 a 变小，bound 会变松。我的判断是：非凸 TL1 的实际增益可能主要来自优化层面的更强 thresholding 和 bias reduction，而不是当前理论真正解释了非凸优越性。这里存在理论-实验不完全对齐。
指数族统一建模是有价值的，但更多是统计框架扩展，不是性能提升的主要来源。真正驱动视觉实验表现的是梯度域双偏置；指数族 loss 保证模型能在 Poisson/one-bit 场景下合理对应观测分布。
Relation To Prior Work
这篇属于 TV-regularized tensor completion 与 transformed t-SVD/t-product tensor low-rank modeling 的交叉谱系。最接近的是 TCTV/t-CTV、Poisson TCTV、TNN+TV、以及一些非凸 TCTV 变体。
和 TNN+TV 的差异：TNN+TV 通常分别约束原张量低秩和局部平滑；本文约束的是梯度张量的低秩和稀疏，结构对象不同。这个差异是实质性的，因为它把 global correlation 的假设从 signal level 改为 variation level。
和 TCTV/t-CTV 的差异：TCTV 只对梯度张量施加 transformed nuclear norm，偏向 low-rank gradient；本文额外加入 TATV，并用 TL1 非凸化 entry/singular-value penalty。这里“dual-TV”是已有思想的重组，但组合对象和指数族理论扩展是本文新增部分。
和 Poisson tensor completion 的差异：已有 Poisson 工作多针对 Poisson likelihood + convex TCTV，本文把 likelihood 提升到 general exponential family，并讨论非凸 TDTV。实质创新在理论覆盖范围，而不是某个优化模块。
需要注意：TL1 本身、ADMM 分裂、t-SVD 变换核、TV shrinkage 都不是新思想；本文的新信息在于把这些东西组织成一个梯度域双结构估计器，并给出相对完整的 upper/lower bound 叙事。
Dataset / Evaluation
实验覆盖 synthetic tensors、multispectral images、videos，并测试 Gaussian、Poisson、one-bit 三类观测，基本对应了论文“指数族统一框架”和“视觉张量梯度结构”的 claim。合成实验验证了 MSE 随采样率上升、rank 下降而改善，这与理论方向一致；真实图像/视频实验显示 TDTV∞ 优于单独 TCTV/TATV，TDTV0.5 通常最好。
但 evaluation 主要验证的是视觉数据上的 inductive bias，而不是广义指数族张量补全的普适性。所有真实数据基本都是平滑视觉张量，天然有利于 TV；对非视觉张量、非平滑高频结构、推荐系统类稀疏交互张量没有展示。benchmark 没有真正证明方法在 arbitrary exponential-family noise 下都稳健，只证明在作者选择的 Gaussian/Poisson/one-bit 设置下有效。
实验也没有完全拆清增益来源：TDTV0.5 的提升可能来自非凸 TL1，也可能来自更强 shrinkage、额外正则参数、更细网格调参或数据先验匹配。运行时间表明非凸版本计算更贵，性能提升不是免费的。
Limitation
第一，理论假设较强。H1 要求 F 在 [-alpha, alpha] 上强凸且二阶导有界；对某些指数族或参数区间边界，这不是无代价条件。box constraint 也不是纯技术细节，它直接保证 loss 曲率和 sub-exponential 控制。
第二，采样分布虽然允许非均匀，但 H2/H3 仍要求所有 entry 有下界采样概率且 row/column/slice marginal 不过度集中。真实 missing-not-at-random 场景不满足这个前提时，理论可能失效。
第三，非凸部分的理论解释不足。文中明确显示当 a 太小，上界会变松；而实验选择 a=0.5。也就是说，非凸收益在当前理论中没有被充分刻画，更多是经验现象。这里不能说理论证明了非凸优于凸。
第四，lower bound 与 upper bound 的匹配并不完全。lower bound 是 tubal-rank 类上的 minimax 下界，而 upper bound 涉及梯度稀疏 s_k、梯度低秩、TV inverse scaling 等。所谓接近 minimax 仍有 max s_k^2/M 和 log gap，且不是针对完整 TDTV 结构类的 sharp lower bound。
第五，scalability 上限明显。每轮 ADMM 需要多方向梯度、FFT/transform、t-SVT/shrinkage；非凸版本更慢。高阶大尺寸张量上，工程成本可能压过统计收益。
第六，泛化主要依赖视觉数据的梯度先验。若目标张量不是 piecewise smooth，或者梯度低秩结构不成立，TDTV 的双正则可能过度平滑、抹掉高频或稀有模式。
Takeaway
- 1. 值得迁移的核心不是 TL1 这个 penalty，而是“在梯度域同时建模 sparsity 和 low-rankness”。
- 这对任何具有局部变化结构和跨通道相关性的 inverse problem 都有借鉴价值。
- 2. 指数族 ERM + 结构正则是比“为每种噪声单独写一个 completion model”更干净的路线；未来更值得做的是 mixed noise、heteroscedastic noise 和 missing-not-at-random，而不是继续堆 TV 变体。
- 3. 非凸正则的经验收益存在，但理论还没有真正解释其优势。
一句话总结
这篇论文把 TV 张量补全从“单一梯度平滑/低秩正则”推进到“指数族似然下的梯度域稀疏+低秩双结构建模”，是一个以更强 inductive bias 和更一般统计理论为核心的传统优化型方法演化。