Mar, 2022

使用加权正则化修复 DNN 的群组级错误

PDF
TL;DR提出一种名为加权正则化的通用方法，通过调整深度神经网络的权重来修复图像分类中的混淆错误和偏差错误，并在广泛使用的六个数据集和结构组合上进行了评估和比较。
deep neural networksweighted regularizationconfusion errorbias errorimage classification
发现论文，激发创造
  • 深度学习中学习重新加权示例的重新实现

    通过元训练和在线权重逼近方法，本文旨在解决使用深度神经网络时出现的噪声标签和训练集偏差对模型表现造成的问题，并通过使用充满挑战的不平衡图像数据集进行皮肤癌检测的真实问题来验证这一方法。

    May, 2024

  • 深度加权平均分类器

    本文提出了一种简单的方法，通过从非参数核回归中的一些想法得出训练实例的加权总和来预测标签，并在符合性方法的框架内提出了一种新的非一致性测量法，实验验证了理论预期，证明了在不影响准确性或校准的情况下，提高了透明度、可控的错误率和抵抗域外数据的鲁棒性。

    Nov, 2018

  • 正则化方法的稳健性和不确定性的实证评估

    本文通过对 CIFAR-100 和 ImageNet 上使用现有正则化方法进行的实证评估，指出某些正则化方法可以作为保证深度神经网络（DNN）鲁棒性和不确定性评估的强有力基线方法。

    Mar, 2020

  • 基于投影的深度神经网络加权标准化

    本文提出了一种投影基准重量归一化 (PBWN) 的方法，通过将每个神经元的输入权重限制在单位范数上，以达到优化 DNN 性能的目的。实验表明，该方法在许多不同的 DNN 体系结构上均能提高性能，并且能够在 permutation invariant MNIST 数据集上实现半监督学习方面的超越表现。

    Oct, 2017

  • 通过控制神经网络权重中的标签噪声信息来提高泛化能力

    研究发现，神经网络在存在噪声或不正确标签的情况下，往往会记住有关噪声的信息。为了减少这种记忆现象，提高泛化能力，本文提出使用一个辅助网络来训练，并利用 Shannon 互信息量化记忆的信息量。在 MNIST、CIFAR-10、CIFAR-100 和 Clothing1M 等数据集上验证了该算法的有效性。

    Feb, 2020

  • 随机加权网络的有趣属性：在几乎没有学习的同时进行泛化

    该论文研究深度神经网络的性质和学习方式，发现在深层卷积神经网络中，固定大部分权重可以在性能表现上与训练所有权重相媲美，探讨了该性质在创建更强鲁棒性的表示方面的应用。

    Feb, 2018

  • 用于嘈杂图像分类的学习顾问网络

    本文提出了基于顾问网络的新概念，旨在解决图像分类中存在噪声标签的问题。通过元学习方法训练顾问网络，不仅可以提高分类器的性能，还可以利用含有噪声标签的数据。该方法在 CIFAR10、CIFAR100 和 Clothing1M 数据集上的实验结果显示出了最先进的效果。

    Nov, 2022

  • 用乘法重新加权进行神经网络鲁棒性优化

    提出一种使用 MW 重新加权示例的神经网络优化方法，该方法在标签存在噪声的情况下稳健且可提高准确性，同时不会影响其对抗鲁棒性。

    Feb, 2021

  • 通过卷积核的权重分布重新考虑准确性和鲁棒性的权衡

    研究表明对抗攻击是深度神经网络的潜在威胁，本文提出了一种动态网络架构 AW-Net，通过梯度规范化、分化处理和根据输入样本调整网络权重的方法，实现了同时提高准确性和鲁棒性的性能。

    Jun, 2023

  • 学习为鲁棒的深度学习调整例子的权重

    该研究提出了一种基于元学习和梯度下降的新算法，来对训练样本进行权重分配，从而达到解决深度神经网络在训练集偏差和标签噪声方面的过度拟合问题，而不需要额外的超参数调整，并在少量有干净核准数据的情况下，实现了在类别不平衡和标签污染问题上的出色性能。

    Mar, 2018