Mar, 2024

逐步接受未知：迈向可靠的现实世界稀疏训练

PDF
TL;DR稀疏训练是一种在实际应用中资源高效的深度神经网络方法，然而，本研究揭示了稀疏训练加剧了对未知样本的不可靠性，通过提出一种新的对未知样本敏感的稀疏训练方法，我们改进了模型的准确性和可靠性，有效降低了面对未知样本时的模型自信度。
sparse trainingresource-efficient deep neural networksout-of-distribution dataunknown-aware sparse trainingmodel confidence
发现论文，激发创造
  • 更多探索的动态稀疏训练

    本文提出了基于动态稀疏训练的稀疏连接性搜索问题的开发和探索获取函数，旨在使稀疏训练达到更高的准确性和更高的稀疏度，实验结果表明，相较于目前最先进的稀疏训练方法，在多项深度学习任务中，本文所提出的方法额外具有更高的准确性。

    Nov, 2022

  • 梯度正则化的离群样本检测

    利用损失函数的梯度信息进行训练，实现神经网络在离分布数据上的检测，并通过能量采样方法提高模型性能。

    Apr, 2024

  • VOS：通过虚拟异常点合成学习未知领域

    VOS 是一种新的框架，用于通过自适应合成虚拟离群值，在训练期间能够有意义地规范模型的决策边界，包括在特征空间中从类条件分布进行虚拟离群值取样，同时引入一种新的未知感知训练目标，与 ID 数据和合成离群数据之间的不确定性空间进行反向塑形，VOS 与物体检测和图像分类模型均能实现竞争性表现，在物体检测器上将 FPR95 降低了最高达 9.36％。

    Feb, 2022

  • 鲁棒语言模型的伪 OOD 训练

    本文提出 POORE - POsthoc pseudo-Ood REgularization 框架，通过在内部数据中生成伪 OOD 数据进行 fine-tune，通过引入新的正则化损失来分离 IND 和 OOD 数据的嵌入，提高了 OOD 预测任务的准确度，相较现有方法在三个实际对话系统上获得了最新的技术进展。

    Oct, 2022

  • 虚假特征多样化提高离域泛化

    通过理论分析和实证研究，我们发现在处理超越分布数据的机器学习任务中，利用多样的偶然特征进行加权模型集成可以显著提高整体的超越分布泛化性能，而不同于传统观点所认为的学习不变特征的方法。此外，我们提出了一种名为 BAlaNced averaGing (BANG) 的方法，可以有效修复原有方法 WiSE-FT 在超越分布情况下的过度自信问题，进一步提升其超越分布性能。

    Sep, 2023

  • AUTOSPARSE: 深度神经网络稀疏训练自动化

    本文提出通过渐进式变化策略的梯度退火（gradient annealing，GA）以及最新的可学习剪枝方法相结合的自动稀疏训练算法 AutoSparse，在 ImageNet-1K 数据集上表现优异，80% 稀疏 ResNet50 的训练和推断 FLOPS 减少分别达到 2 倍和 7 倍。与当前最好的稀疏到稀疏（sparse-to-sparse）方法 MEST 的表现相似，但使用的训练和推理 FLOPS 分别多 12％和 50％不到。

    Apr, 2023

  • 始终稀疏训练：引导随机探索下的连接增长

    现代人工神经网络的过多计算需求为可以运行它们的机器带来了限制。我们提出一种高效的、始终稀疏训练算法，具有一流的大规模和更稀疏模型的线性时间复杂度，并通过引导随机探索算法改善了先前稀疏训练方法的准确性。

    Jan, 2024

  • DICE: 利用稀疏化进行过度分布检测

    本文提出了一种基于稀疏化技术的 OOD 检测框架 DICE，通过筛选对误差贡献最大的权重来减少噪声信号，从而提高 OOD 检测的鲁棒性和精度，证明了该方法的有效性并与其他方法进行了比较

    Nov, 2021

  • 时间序列数据稀疏深度学习：理论与应用

    稀疏深度学习在处理依赖数据方面的预测不确定性量化、顶点估计和模型压缩等领域中已成为一种流行的技术。本文通过研究稀疏深度学习与依赖数据的理论，表明稀疏循环神经网络能够一致地估计，并且在适当假设下，其预测呈渐近正态分布，从而能够正确量化预测的不确定性。数值实验结果显示，稀疏深度学习在时间序列数据的预测不确定性量化方面优于诸如互联置信度等先进方法。此外，我们的研究结果还表明，所提出的方法能够一致地识别时间序列数据的自回归阶数，并在大规模模型压缩方面优于现有方法。该方法在金融、医疗和能源等领域具有重要的实际意义，因为准确的顶点估计和预测不确定性量化都是关注的焦点。

    Oct, 2023

  • 可证明鲁棒性的无需付出昂贵代价的异常检测

    研究使用机器学习技术的安全关键系统需要可靠的不确定性评估。本研究发现，深度神经网络在处理分布外数据时可能会产生过度自信的预测。本研究提出了一种具有保护分布外数据和高准确度的分类器，并提供所有实验代码。

    Jun, 2021