Aug, 2023

基于最优输运的深度学习框架用于滞缓问题：利用 Sinkhorn 损失和 Wasserstein 核

PDF
TL;DR我们提出了一种将最优输运论和基于神经网络的方法集成到新颖的减小阶模型框架中的方法，通过使用 Wasserstein 距离作为自定义核函数的核 POD 方法，并利用 Sinkhorn 算法高效训练得到的神经网络，可以捕捉数据的几何结构，从而实现精确学习降维解流形。与传统指标（如均方误差或交叉熵）相比，利用 Sinkhorn 散度作为损失函数可以增强训练的稳定性，对抗过拟合和噪声并加速收敛。通过在具有 Kolmogorov n-width 缓慢衰减特性的一系列具有挑战性的测试案例上进行实验，结果表明我们的框架在准确性和计算效率方面优于传统的减小阶模型方法。
reduced order modelsoptimal transport theoryneural network-based methodskernel proper orthogonal decompositionsinkhorn algorithm
发现论文，激发创造
  • 使用 Sinkhorn 散度学习生成模型

    本文介绍了一种使用最优输送损失的可行计算方法，通过熵平滑和自动微分来减少计算负担、提高稳定性和平滑性，获得鲁棒和可微分的最优输送损失的逼近，从而训练大规模生成模型并补充标准深度网络生成模型的计算机架构。

    Jun, 2017

  • 低秩 Sinkhorn 分解

    本研究基于低秩约束探索了一种求解任意代价的最优输运问题的泛用性算法，并通过基准实验验证其效率。

    Mar, 2021

  • 在线压缩 Sinkhorn

    使用最优传输距离（OT）和尤其是熵正则化 OT 距离作为机器学习和数据科学中的一种评估度量越来越普遍。本研究主要针对在线 Sinkhorn 算法进行改进和优化，提出了改进的收敛性分析和压缩技术结合的在线 Sinkhorn 算法，通过实证实验和理论证明验证了方法的有效性和性能。

    Oct, 2023

  • 通过加速梯度下降实现高效最优传输算法

    本研究提出了一种基于 Nesterov 的平滑技术的新算法，通过近似 Log-Sum-Exp 函数来平滑 Kantorovich 势的非平滑 c-transform，并将此平滑后的 Kantorovich 泛函应用于快速的 FISTA 算法以提高计算效率和精确度。实验结果表明，该方法相较于 Sinkhorn 算法在相同参数下具有更快的收敛速度和更高的准确性。

    Apr, 2021

  • 一种用于约束优化传输问题的 Sinkhorn 类型算法

    本文研究了满足等式和不等式约束条件下的熵正则化的最优输运问题，并提出了一种基于 Sinkhorn 算法的对应解法。通过理论保证，我们首先得出在解决问题时通过熵正则化所带来的近似误差随着参数增加而指数级减小。此外，通过描述具有李雅普诺夫函数的优化过程，我们证明了 Sinkhorn 算法在对偶空间中具有亚线性一阶收敛速度。为了在弱熵正则化下实现快速、高阶收敛，我们通过动态正则化调度和二阶加速技术来改进 Sinkhorn 算法。总体而言，本文将熵最优输运的最近理论和数值进展与约束情况相结合，使从业者能够在复杂场景中得到近似的输运计划。

    Mar, 2024

  • 使用正特征的线性时间 Sinkhorn 散度

    本文提出使用低秩近似的 ground costs 方法来提高 Sinkhorn divergences 计算效率，并将该方法应用于训练 OT-GAN 模型。

    Jun, 2020

  • 用于顺序和并行神经结构搜索的最优传输内核

    本研究使用基于 Tree-Wasserstein 的新的差异来研究神经结构，并在高斯过程替代模型中演示了它，最后通过使用基于 GP 后验的质量 k - 行列式点过程导出了新的并行 NAS，证明了 TW-based 方法在顺序和并行 NAS 中优于其他基线。

    Jun, 2020

  • 基于得分的生成神经网络用于大规模最优传输

    本文提出了一种基于得分的生成模型，通过 Langevin 动态学习和采样源数据和目标数据之间的 Sinkhorn 耦合，从而解决大规模最优输运问题。

    Oct, 2021

  • 关于部分最优输运：修正 Sinkhorn 和高效梯度方法的不可行性

    本文研究了两个非平衡度量之间的部分最优输运（Partial Optimal Transport，POT）问题及其在颜色转移或领域适应等各种人工智能任务中的应用。我们首先通过理论和实验证明了现有的 Sinkhorn 算法在 POT 问题上的不可行性，进而提出了一种新的 POT 算法来解决这一问题，并且提供了几种近似 POT 问题的一阶方法，其中包括了近似解在 ε 范围内的 Adaptive Primal-Dual Accelerated Gradient Descent（APDAGD）算法以及具有最佳计算复杂度的 Dual Extrapolation 算法。同时，我们还展示了 POT 相比标准 OT 的灵活性以及我们算法在两个非平衡边缘分布的实际应用中的实用性。

    Dec, 2023

  • 高维图距离、嵌入对齐等场景下能够扩展的最优传输算法

    本文提出两种有效的对数线性时间逼近方法来计算熵正则化最优输运问题，并提出了一种结合图神经网络和增强 Sinkhorn 的图输运网络，并实验证明它在节点数量方面具有对数线性的规模，并在图距离回归方面优于以前的模型 48%。

    Jul, 2021