Mar, 2020

图像分类的鲁棒即时数据集去噪

PDF
TL;DR本文研究探讨神经网络中过拟合和标签错误对泛化能力的影响，提出了一种基于因果推理的数据去噪方法，通过模拟有误标签数据在真实数据集上的损失分布，并剔除高于该分布分位数的样本，实现在无需额外计算代价的情况下提高数据处理质量。
neural networksgeneralizationmislabeled examplescounterfactual reasoningdata denoising
发现论文，激发创造
  • 自然语言理解中的即时数据增强去噪

    本文介绍了一种基于原始数据集更清洁的假设，利用有机教师模型提供的软增强标签进行学习的数据增强即时去噪方法，并应用简单的自正则化模块来防止在噪声标签上过拟合，该方法可应用于各种数据扩充技术，可以在文本分类和问答任务中提高性能。

    Dec, 2022

  • 扩散去噪平滑在认证和对抗鲁棒的 ODD 检测中的应用

    研究机器学习中如何确定训练分布和 ODD（Out-Of-Distribution）样本的检测机制，提出了一种基于 l2 范数的无需特定组件或训练的 ODD 鲁棒性证明的新方法以及改进了检测 ODD 攻击技巧的现有技术，在 CIFAR10 / 100 平均 OOD 检测度量方面相对于之前的方法有约 13％/ 5％的提高，并在分布内样本上提供高水平的认证和敌对鲁棒性。

    Mar, 2023

  • 可证明鲁棒性的无需付出昂贵代价的异常检测

    研究使用机器学习技术的安全关键系统需要可靠的不确定性评估。本研究发现，深度神经网络在处理分布外数据时可能会产生过度自信的预测。本研究提出了一种具有保护分布外数据和高准确度的分类器，并提供所有实验代码。

    Jun, 2021

  • 梯度正则化的离群样本检测

    利用损失函数的梯度信息进行训练，实现神经网络在离分布数据上的检测，并通过能量采样方法提高模型性能。

    Apr, 2024

  • 关于概率图像建模的场外泛化问题

    采用局部自回归模型提高了其对于 out-of-distribution 问题检测的性能，并且成功地构建了新的无损压缩算法 neural local lossless compressor (NeLLoC)，并且在压缩率和模型大小上达到了最佳性能。

    Sep, 2021

  • Perceptron 偏置的扩散去噪处理在超分布检测中的应用

    本文提出了一种新的 OOC 检测方法，探讨了鉴别模型在特定区域中对数据更敏感，借此提出了基于扩散模型的检测方法和指标分数，结合鉴别模型和生成模型进行检测，实验结果表明该方法在 CIFAR10 和 CIFAR100 数据集上有竞争力。

    Nov, 2022

  • 离分布数据的价值

    在本研究中，我们发现了一个反直觉的现象：在涉及目标任务的样本数量增加之前，由于少量的来自未知分布数据的样本，可以提高任务的泛化性能，但随着样本数量的增加，泛化误差达到阈值后会逐渐下降；我们采用合成数据集上的 Fisher's Linear Discriminant 和计算机视觉基准数据集（如 MNIST、CIFAR-10、CINIC-10、PACS 和 DomainNet）上的深度神经网络来证明这一现象；在我们知道哪些样本是未知分布的理想情况下，我们可以使用适当加权的目标和外部风险的目标函数来利用这些非单调趋势，但其实际效用有限，此外，当我们不知道哪些样本是未知分布时，数据增强、超参数优化和预训练等常用策略仍然无法保证目标泛化误差不会随着未知分布样本数量的增加而下降。

    Aug, 2022

  • 使用带外分布数据进行音频分类学习

    本文探讨了监督式机器学习中标注错误的一种情况，即数据集受到了分布外的污染，我们提出的方法使用辅助分类器来检测和重新标注这些污染数据，并在 FSDnoisy18k 音频数据集上实验，结果表明该方法显著提高了卷积神经网络的性能，与其他噪声抗干扰技术的比较也是鼓舞人心的。

    Feb, 2020

  • 训练深度判别神经网络对抗标签噪声的鲁棒性

    该论文提出了一种基于无标签干扰数据集训练深度卷积神经网络的新型框架，并使用一个无向图模型来描述干净和嘈杂标签之间的关系，在监督学习过程中学习这个模型。该模型在图像标注问题上应用，并在 CIFAR-10 和 MS COCO 数据集上展示出有效的标注效果和在训练中实现了减少标签噪声的效果。

    May, 2017

  • 房间里的喧嚣大象：你的离群检测器对标签噪声是否鲁棒？

    通过对 20 种最先进的 OOD 检测方法进行大量实验，我们发现类标签噪声对 OOD 检测有重要影响，现有方法中错误分类的 ID 样本与 OOD 样本之间的差异较小是一个被忽视的限制。

    Apr, 2024