May, 2024

深度学习中学习重新加权示例的重新实现

PDF
TL;DR通过元训练和在线权重逼近方法，本文旨在解决使用深度神经网络时出现的噪声标签和训练集偏差对模型表现造成的问题，并通过使用充满挑战的不平衡图像数据集进行皮肤癌检测的真实问题来验证这一方法。
deep neural networksnoisy labelstraining set biasesmeta-trainingonline weight approximation
发现论文，激发创造
  • 学习为鲁棒的深度学习调整例子的权重

    该研究提出了一种基于元学习和梯度下降的新算法，来对训练样本进行权重分配，从而达到解决深度神经网络在训练集偏差和标签噪声方面的过度拟合问题，而不需要额外的超参数调整，并在少量有干净核准数据的情况下，实现了在类别不平衡和标签污染问题上的出色性能。

    Mar, 2018

  • 基于普遍再加权的大规模嘈杂网络数据学习与图像分类

    本文介绍一种基于深度学习技术的 Ubiquitous Reweighting Network (URNet) 模型，利用大规模有噪数据学习图像分类模型，可解决在在线数据中存在的类别不平衡、数据噪声等问题，提升数据偏差和噪声对图像分类的影响，从而在 WebVision 2018 挑战中取得了第一名。

    Nov, 2018

  • 用乘法重新加权进行神经网络鲁棒性优化

    提出一种使用 MW 重新加权示例的神经网络优化方法，该方法在标签存在噪声的情况下稳健且可提高准确性，同时不会影响其对抗鲁棒性。

    Feb, 2021

  • 深度交互学习的重加权方法

    本研究提出了一种改进的数据重新加权算法，通过将学生模型的内部状态提供给教师模型并使用元梯度一起训练，以增强学生模型训练的自适应样本权重，并在图像分类和神经机器翻译实验中证明了其显著的改进效果。

    Jul, 2020

  • 深入研究样本损失曲线以应对嘈杂和不平衡的数据

    该论文提出了一种名为 CurveNet 的曲线感知网络，并采用探测和分配的方法，通过元学习自适应地分配适当的样本权重，以解决深度神经网络中常见的数据偏见和样本不平衡问题，并利用 skip layer meta optimization 方法加速了训练速度，该方法在多项具有挑战性的评估指标上取得了最先进的性能。

    Dec, 2021

  • 用于嘈杂图像分类的学习顾问网络

    本文提出了基于顾问网络的新概念，旨在解决图像分类中存在噪声标签的问题。通过元学习方法训练顾问网络，不仅可以提高分类器的性能，还可以利用含有噪声标签的数据。该方法在 CIFAR10、CIFAR100 和 Clothing1M 数据集上的实验结果显示出了最先进的效果。

    Nov, 2022

  • 随机加权网络的有趣属性：在几乎没有学习的同时进行泛化

    该论文研究深度神经网络的性质和学习方式，发现在深层卷积神经网络中，固定大部分权重可以在性能表现上与训练所有权重相媲美，探讨了该性质在创建更强鲁棒性的表示方面的应用。

    Feb, 2018

  • 从含有噪声标签的数据中学习如何学习

    本文提出一种噪声容忍的训练算法，其中在传统梯度更新之前进行元学习更新来模拟实际训练。通过生成合成噪声标签进行训练，该元学习方法训练模型，以便在使用每个设置的合成噪声标签进行一次梯度更新后，模型不会过度拟合特定的噪声，从而提高深度神经网络的性能。

    Dec, 2018

  • REST: 通过重新加权稀疏训练增强 DNN 的群体鲁棒性

    通过重新权重稀疏训练的框架（REST），减少对偏见相关特征的依赖，改善深度神经网络（DNN）在有偏数据中的性能，同时提高计算和内存效率。

    Dec, 2023

  • 使用加权正则化修复 DNN 的群组级错误

    提出一种名为加权正则化的通用方法，通过调整深度神经网络的权重来修复图像分类中的混淆错误和偏差错误，并在广泛使用的六个数据集和结构组合上进行了评估和比较。

    Mar, 2022