ICLRMar, 2019

通过连续松弛的随机优化排序网络

PDF
TL;DR本文提出了 NeuralSort 算法，将排序操作的输出从置换矩阵松弛到单峰行随机矩阵的集合，使得任意计算图都可以进行端到端梯度优化；并且使用这种松弛方式，针对全排列空间提出了重参数化梯度估算器，展示了该框架在高维对象学习语义排序方面的实用性。
发现论文，激发创造
  • SoftSort: argsort 运算符的连续弛豫

    本研究提出了一种简单的连续松弛方法来克服 argsort 算子在基于梯度的学习中出现的问题，该方法具有较高的计算性能，并能实现最新的性能水平，为了证明其正确性，本文开源了代码来重现所有实验和结果。

    Jun, 2020

  • 可微分排序网络用于可扩展的排序和排名监督

    该研究提出可微分的排序网络来训练神经网络，能够在排序约束条件下进行端到端的训练，此方法能够在不需要绝对数值监督的情况下，实现对神经网络的训练和优化，并探究多层神经网络训练时可能产生的梯度消失和模糊化等问题，证明了拟制的依次比较和比特位排序网络在大规模数据集上的优越表现。

    May, 2021

  • 单调可微排序网络

    本研究提出了一种基于 sigmoid 函数的可微分排序网络的单调松弛方法，该方法可以保证梯度始终具有正确的符号，提高了基于梯度的优化效果。

    Mar, 2022

  • 具有无误差可微交换函数的广义神经排序网络

    计算机系统中的排序是一项基础操作，这篇论文研究了排序问题的抽象输入和神经排序网络，通过差分排序网络的不同性实现高维输入到序数变量的映射，并采用多头注意力的置换等变转换网络来捕捉给定输入之间的依赖关系和提升模型准确性。实验结果表明，这些方法在不同的排序基准上表现优于或与基准方法相当。

    Oct, 2023

  • 可微排名与排序的最优输运算法

    提出了一种基于最优传输问题的算法可微分排序框架，包括基于 Kantorovich 公式的算子对于 CDFs 和 quantiles 的推广，以及基于这一框架在量子回归和神经网络中的应用

    May, 2019

  • 随机排名：无标度离散函数的全局优化

    该研究提出了一个用于直接优化排名度量的高效框架 ——CatBoost，并介绍了两种重要的技术：随机平滑和基于部分积分的新梯度估计，证明了经典平滑方法可能会引入偏差，并提出了一个通用解决方案进行去偏差，该算法保证全局收敛性并在多个学习排名数据集上优于现有方法。

    Mar, 2020

  • 通过连续松弛实现可重参数子集采样

    通过广义化 Gumbel-max 技巧，对子集采样实现连续松弛以提供可重参数梯度，应用于机器学习中的特征选择、深度随机 k 最近邻模型和参数 t-SNE 等任务中，提高了模型性能。

    Jan, 2019

  • 利用 GroupSort 神经网络逼近 Lipschitz 连续函数

    本研究介绍了 GroupSort 神经网络，探讨了它对利普希茨连续分段线性函数的表示能力，证明了它们适合近似利普希茨连续函数，并展示了其在合成实验中相对于标准的 ReLU 网络的高效性。

    Jun, 2020

  • SortNet: 通过基于神经网络的排序算法学习排序

    透过使用神经网络作为比较器的排序算法 SortNet，在 LETOR 数据集上展现出与其他先进算法相比具有潜力的性能。

    Nov, 2023

  • Erdos Goes Neural: 图形组合优化的无监督学习框架

    本文提出了一种基于无标签示例的图上 CO 问题的无监督学习框架，该框架可以提供具有保证质量的整数解，实现方法为使用神经网络参数化一组概率分布，并基于 Erdos 的概率方法来对其进行优化，最后将解码得到所需的解。该方法在实际数据集和复杂实例上取得了具有竞争力的结果。

    Jun, 2020