Mar, 2024

ENOT: 快速准确的神经最优输运训练的 Expectile 正则化

PDF
TL;DR通过对共轭势进行特定正则化，我们提出了一种用于神经最优输运（NOT）训练过程的新扩展，能够准确高效地估计最优传输方案。我们通过引入期望损失函数的正则化来解决现有 NOT 求解器的主要瓶颈问题，从而实现对学习双重潜力的限制条件，提供共轭势可能分布的上界估计，使学习过程稳定，消除了额外的广泛微调的需求。我们称之为期望损失正则化神经最优输运（ENOT）的方法在 Wasserstein-2 基准任务上明显优于先前的最新技术方法（质量提高 3 倍，运行时间提高 10 倍）。
neural optimal transportconjugate potentialsexpectile regularizationenotwasserstein-2 benchmark
发现论文，激发创造
  • 稀疏域迁移：通过弹性网正则化

    本研究提出了 Elastic Net Optimal Transport (ENOT) 框架来解决稀疏分布转移问题，并证明 ENOT 的稀疏梯度可以提供稀疏领域传输映射，通过应用 ENOT 框架进行特征选择和数值结果的演示，表明 ENOT 在识别稀疏领域传输映射方面取得了成功。

    May, 2024

  • 平滑且稀疏最优输运

    本文探讨在最优输运问题的原始和对偶形式中引入强凸项的正则化方法，以产生稀疏和群稀疏输送计划，并在颜色转移任务上展示了该框架的应用。

    Oct, 2017

  • 自适应正则化的最优输运

    优化输运的原始表述引入了严格凸项以减少数值复杂度和增加输运计划的密度。然而，许多公式在输运计划上施加了全局约束，例如依赖于熵正则化。我们引入自适应正则化优化输运（OTARI），它对每个点的质量流入和 / 或流出施加约束，从而减少了质量均衡问题。我们展示了该方法在领域适应中的益处。

    Oct, 2023

  • 渐进式熵最优输运求解器

    提出了一种名为 ProgOT 的新类 EOT 求解器，它能够估计计划和传输映射，通过使用时间离散化分割质量位移、从动态 OT 公式获得启示并利用适当安排的参数使用 EOT 来征服这些步骤，我们提供了实验证据表明，在计算大规模耦合时，ProgOT 是快速且更可靠的替代标准求解器，甚至优于基于神经网络的方法，并且还证明了我们的方法在估计最优传输映射时具有统计一致性。

    Jun, 2024

  • 正则性作为正则化：Brenier 式平滑和强凸势能在最优输运中的应用

    本研究借鉴正则化理论，提出算法，利用二阶 Wasserstein 距离和 Lipschitz 性质，通过解决优化问题来得到光滑的 Brenier 凸函数，实现了快速而准确的图像传输。

    May, 2019

  • 稀疏约束的最优输运

    本文提出了一种新的最优输运问题方法，具有明确的基数约束，既能保证传送方案的稀疏性，又能够限制匹配的最大数量，使其在稀疏专家混合等应用中能够更好地解决计算性能问题。

    Sep, 2022

  • 生成熵神经最优传输在空间内和空间间的映射

    学习度量到度量映射是机器学习中的一项关键任务，而神经最优输运方法（Neural OT）结合了神经网络模型和最优输运理论，将最优输运作为归纳偏置，并通过实验表明其在单细胞生物学中具有实用性。

    Oct, 2023

  • 非紧支持测度之间的熵正则最优输运映射估计

    本文主要讨论了在源测度和目标测度均为次高斯测度的情况下，估计具有平方欧氏距离成本的熵正则化最优传输（EOT）映射的问题，并指出了在目标测度具有紧支集或强对数凹性时，即使采用了最近提出的样本内估计器，期望均方 $L^2$ 误差仅以至少 $O (n^{-1/3})$ 的速率衰减，而对于一般次高斯情况，期望 $L^1$ 误差以至少 $O (n^{-1/6})$ 的速率衰减，并且这些结果在正则化参数上具有多项式依赖性。由于这些结果消除了对紧支集的要求，因此尽管与源测度和目标测度均为紧支集（平方 $L^2$ 误差以速率 $O (n^{-1})$ 收敛）或源测度为次高斯而目标测度为紧支集（平方 $L^2$ 误差以速率 $O (n^{-1/2})$ 收敛）的已知结果相比还不够优化，但它们具有重要意义。证明技巧利用了偏差 - 方差分解，其中方差通过标准的集中度结果进行控制，而偏差则通过 T1 - 传输不等式以及在次高斯假设下估计 EOT 成本的样本复杂性结果来处理。实验结果显示了对方差项控制的松弛性，并最后提出了几个开放性问题。

    Nov, 2023

  • 图上二次正则化的最优传输

    本文介绍了一种基于图论的最优运输问题，提出使用二次正则化方法来处理在二元邻接矩阵的基础上运用网络流算法，进一步探索并优化新颖的牛顿优化算法

    Apr, 2017

  • 基于条件最优传输的高效神经网络方法和贝叶斯推断应用

    我们提出了两种神经网络方法来近似求解静态和动态条件优化传输问题（COT），这两种方法能够对条件概率分布进行抽样和密度估计，在贝叶斯推断中是核心任务。我们的方法将目标条件分布表示为可处理的参考分布的转换，因此属于测度传输框架。这些方法利用了 COT 问题的静态和动态公式的结构，通过神经网络来参数化 COT 映射以提高可扩展性。我们通过使用基准数据集和贝叶斯反问题将其与最先进的方法进行比较，证明了它们的有效性和效率。

    Oct, 2023