Mar, 2023

在高激活空间中通过变换增强自监督学习的深度增强

PDF
TL;DR采用 “Deep Augmentation” 方法，通过在神经网络内部针对性地应用 dropout 实现数据增广，并采用 stop-gradient 操作进一步提高模型性能和泛化能力，在视觉和自然语言处理领域的对比学习任务中通过对 ResNets 和 Transformers 模型的广泛实验证明效果显著，与增广输入数据相比，针对深层模型的 Deep Augmentation 效果更好，而且该方法简单且对网络和数据无限制，方便集成到计算机视觉和自然语言处理流程中。
deep augmentationdata augmentationneural networkperformancegeneralization
发现论文，激发创造
  • 智能增强 - 学习最优数据增强策略

    本文介绍了一种名为 Smart Augmentation 的辅助方法，可以在训练神经网络时增加其准确性并减少过拟合。通过训练一种生成经过增强数据的网络，以减少目标网络的误差，实现了学习最小化网络误差的增强方式。Smart Augmentation 在所有测试数据集上均证明了提高准确性的潜力，并在多种测试情况下以显著较小的网络尺寸实现了类似或更好的性能水平。

    Mar, 2017

  • 深度学习训练过程增强

    本文介绍了几种新颖的深度学习训练技术，如广义模型无关课程学习方法和级联加和增强方法，它们不仅能够提高训练效率并改善深度网络训练过程中的优化平滑度、鲁棒性，而且还能够为计算机视觉任务提供更好的预测性能和模型稳健性。

    Nov, 2022

  • 深度神经网络的特征层级增强提高仿射变换鲁棒性

    本文提出了在中间神经网络层引入数据增强以改善卷积神经网络不适用于少量像素旋转或平移的问题，并证明该方法比已有的两种方法获得更好的精度和平均翻转比。

    Feb, 2022

  • 深层 AutoAugment

    Deep AutoAugment 提供了一种全自动的数据增强搜索方法，通过高效的搜索方法可制定高效的数据增强策略，获得了强大的性能表现。

    Mar, 2022

  • 基于网络扩充的轻量化深度学习

    本研究旨在提出一种名为 “网络增益” 的训练方法，用于改善微型神经网络的性能，该方法采用 “反向 dropout” 增强神经网络，将小模型放在大型模型中并鼓励其作为子模型工作，最终在图像分类和物体检测等任务中改善了模型性能。

    Oct, 2021

  • 使用反向传播学习增强策略的更快自动增强

    本文提出了一种可微分的策略搜索方法，用于数据增强，该方法比之前的方法更快，使用的是离散参数变换的近似梯度和可分辨操作选择机制。我们的方法通过最小化增强数据与原始数据之间的分布距离来优化，比之前的工作实现了显著更快的搜索，而不会出现性能下降。

    Nov, 2019

  • 使用深度学习进行图像分类中数据增强的有效性

    本文研究数据增强在图像分类中的应用，对比了多种增强技术，包括传统的裁剪、旋转和翻转以及使用 GAN 生成不同风格的图像，并提出了一种名为神经增强的方法，通过训练神经网络自学习增强，以提升分类器性能，对该方法在不同数据集上表现的优劣进行了讨论。

    Dec, 2017

  • 贝叶斯数据增强方法用于深度模型学习

    提出了一种基于贝叶斯公式，利用广义蒙特卡洛期望最大化算法和生成对抗网络的方法，能更好地生成新的标注训练样本，并在 MNIST，CIFAR-10 和 CIFAR-100 的数据集中取得了优于现有数据增强方法和 GAN 模型的分类结果。

    Oct, 2017

  • 深度权重空间中的数据增强

    通过研究数据增强技术，以解决在权重空间进行学习时所面临的过拟合问题，本文提出了一种基于混合方法的新的增强方案。评估了这些技术在现有基准以及新生成的基准上的性能，为未来的研究提供了有价值的参考。

    Nov, 2023

  • 学习为数据增强编写领域特定变换

    利用生成对抗算法学习序列模型来自动生成数据增强方法，有效提高图片和文本数据集的识别准确度。

    Sep, 2017