ICLROct, 2023

稀疏熵 - 瓦瑟斯坦回归强大的网络剪枝

PDF
TL;DR本研究提出了一种先进的神经网络剪枝技术，通过在计算经验 Fisher 信息矩阵（FIM）过程中巧妙处理嘈杂的梯度。我们介绍了一种基于几何属性的熵 Wasserstein 回归（EWR）模型，通过采用数据点之间的邻域插值实现噪声缓解。Wasserstein 距离的独特优势在于平衡噪声降低和协方差信息保留之间的关系。通过在各种网络上进行广泛实验证明，所提出的方法在网络剪枝算法中具有与先进方法相当的性能。当网络规模或目标稀疏度较大时，我们提出的方法在存在嘈杂梯度的情况下效果更为显著，可能来自嘈杂数据、模拟存储器或对抗攻击。值得注意的是，我们的方法在仅剩不到四分之一的网络参数的情况下，使 MobileNetV1 的准确度提高了 6%，测试损失提高了 8%。
neural network pruningempirical fisher information matrixentropic wasserstein regressionnoise mitigationnetwork size
发现论文，激发创造
  • 通过明确的 Wasserstein 最小化，逐步半离散地训练生成网络的方法

    本文提供一种简单的过程，用于将生成网络适配成目标分布，从而实现小的 Wasserstein 距离，从而逐渐将生成器网络调整为目标分布。在 MNIST 和 Thin-8 数据的训练和测试集上，实现了良好的性能。

    Jun, 2019

  • Wasserstein-2 生成网络

    该论文提出了一种新颖的端到端非极小算法，用于训练最优输运映射以逼近 Wasserstein-2 距离，并使用输入凸神经网络和循环一致性正则化来近似 Wasserstein-2 距离，解决了流行的熵和二次正则化中存在偏差和高维度缩放问题的不足，并在诸多任务上进行了实验评估。

    Sep, 2019

  • 软量化基于熵正则化

    本研究介绍了量化问题，熵正则化量化问题以及熵正则化瓦砾斯坦距离的性质和稳定性，提出了一种基于软极小函数的逼近技术，使用熵正则化瓦砾斯坦距离评估软量化问题的逼近质量，并采用随机梯度法求解最优解。该方法的控制参数可调整优化问题的难度，对处理复杂问题具有显著优势，并通过实验证明了方法在各种应用中的性能。

    Sep, 2023

  • 鲁棒的 Wasserstein 分布推断及其在机器学习中的应用

    本文研究表明多个机器学习评估器，包括平方根 LASSO 和正则化逻辑回归，可以表示为分布鲁棒优化问题的解决方案，其相关的不确定区域基于适当定义的 Wasserstein 距离。因此，我们的表示使我们能够将正则化视为引入人为对手的结果，该对手扰动经验分布以考虑损失估计中的样外效应。此外，我们引入了 RWPI（Robust Wasserstein Profile Inference），这是一种新颖的推断方法，它将启发式似然性方法的使用扩展到最优传输成本的设置中（其中 Wasserstein 距离是一个特殊情况）。我们使用 RWPI 展示如何最优地选择不确定性区域的大小，从而能够选择这些机器学习评估器的正则化参数，而不使用交叉验证。数值实验也给出了验证我们理论发现的结果。

    Oct, 2016

  • 基于 Wasserstein 距离的加权提升选择性

    通过设计一种简单高效的贪婪算法来重新加权损失函数，从而使神经网络权重的极限分布逼近训练于另一个数据集上所得到的极限分布，算法可用于引入数据分布偏移进行多准则优化。

    Jan, 2024

  • Gromov-Wasserstein 距离的快速梯度计算

    我们提出了一种新的方法，通过动态规划技术加速精确梯度计算，将复杂度从立方降低到二次，从而突破了原有的计算瓶颈，可以在总二次时间内获得新的熵解，这几乎是最优复杂度。大量实验证实了我们方法的高效性和有效性。

    Apr, 2024

  • 网络回归的最优输运方法

    我们研究了网络回归问题，通过基于弗雷歇平均和使用 Wasserstein 度量的广义回归模型，提出了一种网络回归方法。通过将图形表示为多变量高斯分布，我们展示了网络回归问题需要计算一个 Riemannian 中心（即 Frechet 平均）。通过固定点迭代可以有效计算具有非负权重的 Frechet 平均，该方法在合成和实际数据情景中的大量数值结果表明改进了现有程序，准确考虑了图形的大小、拓扑和稀疏性。此外，使用该方法的实际实验结果也显示出更高的决定系数（$R^{2}$）值和更低的均方预测误差（MSPE），从而巩固了在实践中改进的预测能力。

    Jun, 2024

  • 学习图神经网络的拟 - 瓦瑟斯坦损失

    在本研究中，我们提出了一种新的基于图的优化传输的 “准瓦砂坊” 损失函数，应用于图神经网络中的节点级预测任务，从而消除节点嵌入和标签之间的非独立同分布性，并且改进了节点级分类和回归任务的性能。

    Oct, 2023

  • 变分 Wasserstein 问题的平滑双重方法

    该研究通过引入熵平滑，将 Carlier 等人（2014）所提出的 Wasserstein 变分问题的对偶式正则化，从而处理了涉及 Wasserstein 距离的计算问题，得到了更容易实现和数值更稳定的优化问题，应用于计算 Wasserstein 重心和空间规则化函数的梯度流。

    Mar, 2015

  • 基于惩罚性最优传递网络的数据表生成建模

    通过提供理论和实证的证据，我们的研究提出了一种名为 POTNet 的生成深度神经网络，它基于一个新颖、稳健、可解释的边际惩罚 Wasserstein 损失函数（MPW）来有效地建模包含类别和连续特征的表格数据，并能在子特征集合上进行条件建模，从而实现了在大规模合成数据生成过程中与最先进的生成模型相比数个数量级的加速。

    Feb, 2024