- 切线微分隐私
切线差分隐私是一种新型的差分隐私,适用于特定数据分布,允许使用总变分距离和 Wasserstein 距离,并在风险最小化情况下,通过熵正则化保证切线差分隐私在风险函数的普遍条件下成立。
- 通过熵正则化扩展均场变分推断的理论与计算
我们提出了一种新的变分推断方法 $\Xi$- 变分推断 ($\Xi$-VI),通过熵正则化扩展了朴素均值场。$\Xi$-VI 与熵最优输运问题密切相关,并从计算高效的 Sinkhorn 算法中受益。我们展示了 $\Xi$- 变分后验能够有效 - 线性规划的费舍尔 - 饶梯度流和状态 - 动作自然策略梯度
研究了基于状态 - 动作分布的费舍尔信息矩阵的另一种自然梯度方法,并表明其具有线性收敛性和几何相关的错误估计,改善了现有结果。进一步扩展了这些结果,对于扰动费舍尔 - 劳梯度流和自然梯度流,展示了次线性收敛性以及近似误差的界限。
- ICLR稀疏牛顿迭代加速 Sinkhorn 算法
通过引入早停止和牛顿类型子程序,Sinkhorn-Newton-Sparse(SNS)算法提供了超指数收敛,并且在实际情况下收敛速度比 Sinkhorn 算法快几个数量级,包括离散密度的经验分布之间的最优输运和计算 Wasserstein - 自适应正则化的最优输运
优化输运的原始表述引入了严格凸项以减少数值复杂度和增加输运计划的密度。然而,许多公式在输运计划上施加了全局约束,例如依赖于熵正则化。我们引入自适应正则化优化输运(OTARI),它对每个点的质量流入和 / 或流出施加约束,从而减少了质量均衡问 - 从私有化数据中训练生成模型
本文提出了一种基于局部差分隐私的生成对抗网络训练方法,通过熵正则化 Wasserstein 距离的组合使用来降噪数据分布,有效地缓解了正则化偏差和隐私噪声效应。
- 不平衡低秩最优输运求解器
该论文介绍了交通运输问题在机器学习中的应用:近期的研究针对交通运输问题的计算和建模限制提出了新的方法,其中包括熵正则化和基于低秩矩阵的线性时间解算方法,以及基于惩罚项促进质量守恒的不平衡交通运输方法,该论文提出了一种将这两种方法结合的算法, - MM测度上极小最大值均衡的同时传输演化
本文利用熵正则化方法,通过针对概率测度空间上的混合平衡点问题,采用对称梯度升降法求解 Wasserstein 距离来解决最小化最大问题,并取得全局收敛性。同时,提出 Wasserstein 几何下的凸凹可用于解决相关熵正则化的损失函数。
- 利用 Sinkhorn 散度实现更快的 Wasserstein 距离估计
本研究提出使用 Sinkhorn 散度来估计平方 Wasserstein 距离,其允许更高的正则化水平,从而导致改进的计算复杂度界限和实际的强加速。
- 张量最优输运、测度集之间的距离与张量缩放
研究了 $d>2$ 离散测度的最优输运问题,提出了有熵正则化项的线性规划方案,并引入了 Sinkhorn 扩展算法,并给出了严格凸函数部分最小化算法的变形,得到其收敛速度的几何估计。
- 多边际最优输运的加速交替最小化
通过加速交替最小化方法,我们提出了一种估计多边际最优传输的复杂度,并使用足够小的正则化参数通过基于熵的正则化方法解决了此问题的近似解,提出了一种新颖的原始 - 对偶分析来重构最佳耦合张量
- 应用于 PU 学习的部分最优传输
本文就偏沃瑟斯坦问题和 Gromov-Wasserstein 问题提出了精确算法,并以正负样本不平衡学习和不同领域点云为例证明了它们在相应场景下的有效性。
- ICML熵正则算法在最优输运中的效率
我们提出了一种新的算法 APDAMD 来解决原子最优输运问题,并证明了算法的复杂度界限与加速变种的 Sinkhorn 算法和 Greenkhorn 算法,在实践中均具有较高的效率。
- 子空间鲁棒瓦热斯坦距离
本文针对高维离散量之间的 Wasserstein 距离提出了具有鲁棒性的 “Max-Min” 方案,通过将量投影到一个较低维的子空间来最大化它们之间的距离。此外,我们提出了一种基于熵正则化的算法来解决相关问题,并在实验中显示了其优越性。
- 近线性时间内逼近二次传输度量
该研究提出了一种基于熵正则化、近似 Sinkhorn 缩放和高斯核矩阵低秩逼近的算法,用于计算两个点云或离散分布之间的二次输运度量(也称为 2-Wasserstein 距离或均方根距离),其复杂度为 O (n)。
- 使用 Wasserstein 距离的 Sinkhorn 逼近的微分特性
应用最优输运及熵正则化计算 Wasserstein 距离中的 Sinkhorn 近似算法的梯度,可以提高学习和优化问题的效率,同时通过高阶平滑性,也可以提供统计保证。
- Wasserstein 空间的最优输运和三次样条的二阶模型
在概率密度空间中,我们将 Wasserstein 测地线扩展到更高阶的插值,如三次样条插值。我们提出了一种基于路径空间上变分问题简化松弛的方法,并探索了两种不同的数值方法,一种基于多重边际最优运输和熵正则化,另一种基于半离散最优运输。
- 策略梯度和软 Q 学习之间等效性的简短变分证明
研究表明,采用 softmax 松弛和熵正则化时,强化学习算法中的 Q-learning 和策略梯度是等效的。这一结果被称为 Donsker-Varadhan 公式,同时也揭示了熵函数和 softmax 函数之间的凸对偶关系。研究者还进一步 - 随机梯度下降在变分推断中的应用:深度网络收敛于极限环
SGD 使用隐式正则化训练深度神经网络的确切方式一直以来都很难界定,但我们证明了 SGD 最小化了一个与分布式权重后验分布相关的平均势能加一个熵正则化项,但这个势能通常与原始损失函数不同。此外,我们表明 SGD 在经典意义下甚至不会收敛,因 - 平滑且稀疏最优输运
本文探讨在最优输运问题的原始和对偶形式中引入强凸项的正则化方法,以产生稀疏和群稀疏输送计划,并在颜色转移任务上展示了该框架的应用。