Feb, 2020

带有最优传输的可微 Top-k 操作符

PDF
TL;DR研究了 top-k 运算在使用算法实现后无法通过梯度下降算法从端到端训练的问题，提出了基于最优输运的平滑近似 SOFT top-k operator，并在 k 最近邻居和 Beam Search 算法中应用，改善了性能。
top-k operationgradient descent algorithmssoft top-k operatorentropic optimal transportk-nearest neighbors
发现论文，激发创造
  • 可微排名与排序的最优输运算法

    提出了一种基于最优传输问题的算法可微分排序框架，包括基于 Kantorovich 公式的算子对于 CDFs 和 quantiles 的推广，以及基于这一框架在量子回归和神经网络中的应用

    May, 2019

  • 顺序减半 Top-k 运算符

    提出一种可微的逐步减半方法来放松排名算子，通过使用锦标赛式选择来避免对得分向量进行 softmax 的迭代，从而实现了比以前更低的计算成本下的 top-k 更好的近似。

    Oct, 2020

  • 通过加速梯度下降实现高效最优传输算法

    本研究提出了一种基于 Nesterov 的平滑技术的新算法，通过近似 Log-Sum-Exp 函数来平滑 Kantorovich 势的非平滑 c-transform，并将此平滑后的 Kantorovich 泛函应用于快速的 FISTA 算法以提高计算效率和精确度。实验结果表明，该方法相较于 Sinkhorn 算法在相同参数下具有更快的收敛速度和更高的准确性。

    Apr, 2021

  • 大规模最优输运的随机优化

    提出一种新的随机优化算法来应对机器学习中遇到的大规模问题，该方法利用任意分布的样本来避免将密度值离散化，并提供了可证明收敛的方法，输出正确的距离。

    May, 2016

  • 在大规模最优输运问题上的可扩展和高效计算

    提出了一种名为 SPOT（Scalable Push-forward of Optimal Transport）的基于隐式生成学习的方法来解决 “最优传输”（Optimal Transport，OT）中的可扩展性问题，该方法通过引入参考分布而近似最优传输计划，并将其转化为极小极大问题。实验结果表明 SPOT 系统具有可靠性和较好的收敛性，并允许从最优传输计划中高效采样，从而有利于领域适应等下游应用。

    May, 2019

  • 可微 Top-k 分类学习

    本文提出了一种基于不可微排列和排名的可微的 top-k 交叉熵分类损失函数，用于多个 k 的同时优化模型，较之前的单一 k 优化得到更好的 top-5 准确率并改善了 top-1 准确率，通过对先前在 ImageNet 数据集上公布的模型进行微调，实现了这些模型的新的最先进结果。

    Jun, 2022

  • Sobolev 输运：一种基于图度量的可扩展概率度量

    本文提出了一种基于图测度空间的概率测度支持的 Sobolev transport metric， 该度量具有计算速度快和负定性等优点，并且可以用于构建正定核，在文本分类和拓扑数据分析中表现良好。

    Feb, 2022

  • 渐进式熵最优输运求解器

    提出了一种名为 ProgOT 的新类 EOT 求解器，它能够估计计划和传输映射，通过使用时间离散化分割质量位移、从动态 OT 公式获得启示并利用适当安排的参数使用 EOT 来征服这些步骤，我们提供了实验证据表明，在计算大规模耦合时，ProgOT 是快速且更可靠的替代标准求解器，甚至优于基于神经网络的方法，并且还证明了我们的方法在估计最优传输映射时具有统计一致性。

    Jun, 2024

  • 分层最优输运用于文档表示

    该论文介绍了基于分布和话题建模的层次最优输运方法作为文档之间的元距离，以量化文档之间的相似性。这种方法具有解释性和可扩展性，并在 k-NN 分类方面表现良好。

    Jun, 2019

  • 一种用于约束优化传输问题的 Sinkhorn 类型算法

    本文研究了满足等式和不等式约束条件下的熵正则化的最优输运问题，并提出了一种基于 Sinkhorn 算法的对应解法。通过理论保证，我们首先得出在解决问题时通过熵正则化所带来的近似误差随着参数增加而指数级减小。此外，通过描述具有李雅普诺夫函数的优化过程，我们证明了 Sinkhorn 算法在对偶空间中具有亚线性一阶收敛速度。为了在弱熵正则化下实现快速、高阶收敛，我们通过动态正则化调度和二阶加速技术来改进 Sinkhorn 算法。总体而言，本文将熵最优输运的最近理论和数值进展与约束情况相结合，使从业者能够在复杂场景中得到近似的输运计划。

    Mar, 2024