通过对称和逐因子不变函数的通用架构，神经逼近瓦瓦斯坦距离

Aug, 2023

通过对称和逐因子不变函数的通用架构，神经逼近瓦瓦斯坦距离

Neural approximation of Wasserstein distance via a universal architecture for symmetric and factorwise group invariant functions

PDF

Samantha Chen, Yusu Wang

TL;DR本文提出了一种通用的神经网络架构来逼近对称函数，结合草图思想开发了一种能够逼近点集间 $p$-th Wasserstein 距离的特定和高效神经网络，经验结果表明该网络的性能明显优于其他模型，有望在解决各种几何优化问题中发挥作用。

Abstract

Learning distance functions between complex objects, such as the Wasserstein distance to compare point sets, is a common goal in machine learning applications. However, functions on such complex objects (e.g., point sets and graphs) are often required to be invariant to a wide variety

distance functions wasserstein distance neural network architecture symmetric functions geometric optimization problems

发现论文，激发创造

生成有效的欧几里得距离矩阵

利用具有对称不变层的神经网络生成 Euclidean 距离矩阵，并使用其构建了一个 Wasserstein GAN，可以一次性生成具有三维嵌入的分子结构。

Oct, 2019

学习 Wasserstein 嵌入

本文介绍一种利用同配网络和解码器实现对 Wasserstein 距离进行逼近的方法，该方法可用于快速处理优化问题，如重心、主要方向或原型，在图像数据集上已经进行了实验。

Oct, 2017

宽随机神经网络高斯随机场逼近的斯坦方法应用

该研究基于 Stein 方法，利用一种新颖的高斯平滑技术，构建使用拉普拉斯算子幂的协方差函数，推导出任意连续 n - 球索引的随机场到高斯随机场的 Wasserstein 距离的上界，可以进一步推广到复杂的神经网络模型中。

Jun, 2023

基于 Wasserstein GAN 的人脸超分辨率

本文比较了在单幅图像超分辨率上使用 Wasserstein 距离和其他训练目标时，各种 GAN 架构的表现，结果表明，带梯度惩罚的 Wasserstein GAN（WGAN-GP）提供了稳定且收敛的 GAN 训练，Wasserstein 距离是衡量训练进展的有效指标。

May, 2017

Wasserstein 空间上的逼近理论、计算与深度学习

在这项研究中，我们探讨了在概率空间上定义的 Sobolev 平滑函数的数值逼近的挑战性问题。我们采用三种基于机器学习的方法，通过求解有限个最优传输问题和计算相应的 Wasserstein 潜势，使用 Wasserstein Sobolev 空间中的经验风险最小化和 Tikhonov 正则化，以及通过表征 Tikhonov 泛函的 Euler-Lagrange 方程的弱形式来解决这个问题。作为理论贡献，我们对每种解决方法的泛化误差提供了明确且定量的界限。在数值实现中，我们利用适当设计的神经网络作为基函数，经过多种方法的训练，使我们能够在训练后快速评估逼近函数。因此，我们的构造性解决方案在相同准确性下显著提高了评估速度，超过了现有方法数个数量级。

Oct, 2023

神经网络学习对称函数的功能视角

本文主要研究了定义在概率度量上的神经网络的学习和表示，通过研究不同正则化选择下的近似和泛化界限，建立了一个具有不同非线性学习程度的功能空间等级体系，从而解决了对称函数的泛化问题。

Aug, 2020

学习 Wasserstein 距离的置换不变网络

通过置换不变网络将样本从概率测度映射到低维空间，使编码样本之间的欧几里得距离反映概率测度之间的 Wasserstein 距离，进一步证明了该网络可以推广到正确计算未见密度之间的距离，并且可以学习到概率分布的第一和第二矩。

Oct, 2020

用切片瓦烏希斯坦損失函數訓練神經網絡的 SGD 收斂

优化传输（Optimal Transport）近年来引发了广泛兴趣，尤其是由于 Wasserstein 距离的提出，该距离提供了一种几何上合理且直观的比较概率测度的方式。为了解决计算问题，引入了切片 Wasserstein（SW）距离作为 Wasserstein 距离的替代方法，并在训练生成型神经网络（NNs）中得到应用。本文旨在弥补对于这一观察结果没有理论保证的空白，通过利用 Bianchi 等人（2022）关于 SGD 在非光滑和非凸函数上收敛性的最新工作，提供了 SW loss 函数对 NN 参数收敛的现实背景。具体而言，我们展示了随着步长的减小，这些轨迹逐渐接近（亚）梯度流方程的集合。在更严格的假设下，我们证明了一种更强的收敛结果，即轨迹的长期极限逼近损失函数的广义驻点集合。

Jul, 2023

Banach Wasserstein GAN

本研究探索了 Wasserstein 生成对抗网络在巴拿赫空间中引入梯度惩罚后的理论扩展和一些具体选择的基础点，重点关注 Sobolev 范数，并在 CIFAR-10 和 CelebA 中展示了性能提升。

Jun, 2018

神经网络函数空间距离的高效参数逼近

本文提出了一种名为 LAFTR 的线性激活函数技巧，并对 ReLU 神经网络的 FSD 进行有效的近似，具有更小的内存需求并用于持续学习，准确估计影响函数并检测错误标记的示例。

Feb, 2023