May, 2024

梯度引导的假设：在稀缺和噪声数据情境下启用机器学习模型的统一解决方案

PDF
TL;DR在本研究中，我们提出了一种架构无关的算法，梯度引导假设（GGH），旨在应对数据质量方面的挑战。GGH 通过分析假设的梯度作为数据中不同且可能相互矛盾的模式的代理来解决缺失和噪声数据问题，并通过机器学习训练中的额外步骤将梯度包含或排除在反向传播中。通过对真实开源数据集进行实验验证，GGH 显示出显著提高模型性能的能力，并且在极高的稀缺度情况下，GGH 是唯一可行的解决方案。此研究展示了 GGH 作为改善各种应用中的数据质量和模型性能的有希望的解决方案。
data qualitymachine learninggradient guided hypothesesmissing datanoisy data
发现论文，激发创造
  • 弱梯度和强梯度方向：解释尺度下的记忆、推广和难度

    本文通过对 ResNet，Inception 和 VGG 等模型的实验验证了相干梯度假设，并提出了具有可扩展性的抑制弱梯度方向的方法，这是首次令当代的监督学习提供令人信服的概括能力证据。

    Mar, 2020

  • 约束引导梯度下降：不等式约束指导下的训练

    本研究提出了约束引导梯度下降 (CGGD) 框架，使得域知识可以注入到神经网络的训练过程中，其中域知识被假定为一组硬不等式约束的连词，相比于其他神经符号方法，该方法使得模型收敛并满足数据集上的任何不等式约束，同时不需要事先将约束转换为某个特定项添加到学习目标中。经实验证明，与先前的工作相比，CGGD 使得训练不再依赖网络的初始化，并提高了所有数据的约束可满足性。

    Jun, 2022

  • 基于显著性引导训练的深度学习解释性改进

    本文介绍了一种基于显著性引导培训的神经网络方法，可以有效降低噪声导致的特征归因不准确，并通过实验表明这种方法能够在保持预测性能的同时提高模型可解释性。

    Nov, 2021

  • IDGI: 从 Integrated Gradients 中消除解释噪声的框架

    通过重视噪音源，提出了一种新的框架 ——IDGI，结合了 Reimann Integration 和 IG-based 的方法，可以在解释性指标上显著提高。

    Mar, 2023

  • 引导式集成梯度：一种用于去除噪声的自适应路径方法

    本文提出了自适应路径方法（APM）以及其特例 Guided IG 方法，通过调整归因路径本身（而非仅减少结果中的噪声）来解决在视觉模型上应用 Integrated Gradients 方法产生噪声像素归因的问题，并实验证明其在几乎所有实验中优于其他相关方法，可以创建与模型预测和图像输入更加一致的显著性地图。

    Jun, 2021

  • GBHT: 梯度增强直方图变换用于密度估计

    本文提出一种密度估计算法 GBHT，采用负对数似然作为损失函数，使 Boosting 方法适用于无监督任务，在学习理论的角度，我们首先证明 GBHT 的收敛速率快，然后将目标密度函数定义在空间 C ^ {1，α} 中，GBHT 的收敛速率的上界小于其对应基学习者的下界，并尝试从理论上解释为什么 Boosting 可以提高密度估计问题的基学习者的性能。在实验中，我们不仅与广泛使用的 KDE 进行性能比较，而且将 GBHT 应用于异常检测，以展示 GBHT 的进一步应用。

    Jun, 2021

  • 基于动量梯度的超图神经网络非定向攻击

    通过设计一种新的 HGNNs 攻击模型，即 MGHGA，集中在修改节点特征上，本论文试图填补现有研究中对 HGNNs 敌对攻击的研究空白，通过在特征选择和特征修改模块中使用动量梯度机制和特征生成方法，MGHGA 能够在离散和连续数据集上有效对节点和视觉对象分类任务进行攻击，并在实验证明相对于基准方法，MGHGA 的攻击性能平均提升了 2%。

    Oct, 2023

  • 基于梯度的网络输出约束推断

    本文介绍了一种基于梯度的推理方法，用于神经网络的去结构化预测问题，并在句法分析、语义角色标注和序列转换三个任务上进行了测试，该算法不仅满足了约束条件，而且提高了准确性。

    Jul, 2017

  • 将基于梯度的技术转化为可解释方法

    通过 xFAI 技术来阐述卷积神经网络 (CNN) 经常在解释中面临挑战，图像提取的像素等输入特征的固有复杂性产生复杂的相关性，以 Integrated Gradients (IG) 为代表的基于梯度的方法有效地展示了这些特征的重要性，然而，这些解释转化为图像通常会产生大量的噪声。我们引入了 GAD (Gradient Artificial Distancing) 作为基于梯度的技术的支持框架，其主要目标是通过建立类之间的区别来强调有影响力的区域。GAD 的本质是在可视化过程中限制分析范围，并因此减少图像噪声。经过对遮挡图像的实证研究表明，通过这种方法识别出的区域确实在促进类别区分方面起到关键作用。

    Jan, 2024

  • 对抗性训练的向导插值方法

    本文提出了一种 Guided Interpolation Framework （GIF）框架，该框架利用前一轮 epoch 的 meta 信息来引导数据插值，达到提高可攻击性数据的比例从而增强鲁棒性、减少模型各类之间的线性关系、鼓励模型在每个类别簇中不变地进行预测的目的。实验证明，GIF 确实可以在各种 Adversarial Training 方法和各种数据集上增强对抗鲁棒性。

    Feb, 2021