Dec, 2023

REST: 通过重新加权稀疏训练增强 DNN 的群体鲁棒性

PDF
TL;DR通过重新权重稀疏训练的框架（REST），减少对偏见相关特征的依赖，改善深度神经网络（DNN）在有偏数据中的性能，同时提高计算和内存效率。
deep neural networkbias attributesbias-conflictingreweighted sparse trainingspurious correlations
发现论文，激发创造
  • REST: 野外睡眠监测鲁棒高效神经网络

    该研究提出了 REST 方法，通过敌对训练和光谱正则化控制神经网络的 Lipschitz 常数，同时通过稀疏正则化实现神经网络压缩，从而解决了将深度学习模型应用于家庭健康监测的噪声与紧凑高效的问题，并针对睡眠阶段分类任务进行了实验验证和手机应用部署测试。

    Jan, 2020

  • 深度学习中学习重新加权示例的重新实现

    通过元训练和在线权重逼近方法，本文旨在解决使用深度神经网络时出现的噪声标签和训练集偏差对模型表现造成的问题，并通过使用充满挑战的不平衡图像数据集进行皮肤癌检测的真实问题来验证这一方法。

    May, 2024

  • 基于损失重采样的无标注群组鲁棒性

    训练神经网络的新方法通过估计数据分组，有效解决了图像分类中因冗余属性导致的预测问题，在缺少冗余属性标注的情况下以非常快速且直接的方式提供了群体稳健性。

    Dec, 2023

  • 面向少量注释的群体鲁棒性的最后一层重新训练

    通过仅使用模型选择的族群注释和少数类别注释，最后一层的重新训练可以显著提高最差群组的准确性，而无需额外的数据或注释。此外，我们还引入了一种轻量级方法，即选择性的最后一层微调（SELF），通过使用误分类或不一致性的数据构建了重新加权数据集，实现了在视觉和语言任务的四个基准测试中无需族群注释和少于 3％的保留类别注释即可与 DFR 相媲美。

    Sep, 2023

  • 稀疏深度神经网络的改进对抗鲁棒性

    本文研究了基于深度神经网络的分类模型中稀疏性与鲁棒性之间的关系，并理论和实证分析表明，适当的模型稀疏化可以提高非线性 DNN 的鲁棒性，但过度稀疏化会使模型更难抵抗对抗性样本攻击。

    Oct, 2018

  • 应对子群体稀缺的分布自适应优化与不变表示学习：机制与局限

    通过全面的评估研究，我们首先展示了在医学图像分类中，当偏见不是性能不佳的唯一原因时，对于表现不佳样本的泛化再加权可能存在问题，同时也表明了朴素的不变表示学习在自身存在虚假相关性时也存在问题。然后，我们提出了一种新的方法，利用鲁棒优化来促进在存在虚假相关性的情况下学习不变表示。利用这种表示进行微调的分类器展示了减少子组群性能差异的能力，同时保持了较高的平均性能和最差组群性能。

    Aug, 2023

  • 逐步接受未知：迈向可靠的现实世界稀疏训练

    稀疏训练是一种在实际应用中资源高效的深度神经网络方法，然而，本研究揭示了稀疏训练加剧了对未知样本的不可靠性，通过提出一种新的对未知样本敏感的稀疏训练方法，我们改进了模型的准确性和可靠性，有效降低了面对未知样本时的模型自信度。

    Mar, 2024

  • 通过内省自我对弈推动准确性 - 群体鲁棒性边界

    本文提出 Introspective Self-play (ISP) 方法，通过增加辅助内省任务，使模型能够预测每个数据点的偏倚，从而改善深度神经网络的不确定性估计，提高不平衡分布数据集下的准确性和公平性。实验结果表明，该方法可以有效地改善不平衡数据集下的不确定性估计并显著提高尾部群体的采样率和最终准确性公平性权衡。

    Feb, 2023

  • 自私稀疏循环神经网络训练

    本文提出了一种可以在单次训练中固定参数数量的内在稀疏 RNNs 训练方法，利用非均匀分配细胞门的方法实现更好的正则化，并通过一种新型的平均随机梯度优化器 SNT-ASGD 提高了训练性能，在 Penn TreeBank 和 Wikitext-2 数据集上实现了优于 dense-to-sparse 方法的最新稀疏训练结果。

    Jan, 2021

  • CReST：一种用于不平衡半监督学习的类重新平衡自训练框架

    本文提出了一种简单而有效的 CReST 框架，利用伪标签和估计的类分布，改善了现有的 SSL 方法在类不平衡数据上的性能，并且在各种类不平衡数据集上 consistently 胜过其他流行的重新平衡方法。

    Feb, 2021