May, 2021

训练期间在图像上绘制多个变换样本可有效降低测试误差

PDF
TL;DR本文通过实验证明，在训练深层 ResNets 时，每个独特图像的增强样本数量如何影响模型性能，结果表明，绘制多个样本可实现更高的测试准确性，且即使每个图像的增强数目表现相同，使用这种方法也能提高测试准确度。
computer visiondata augmentationdeep resnetsmodel performancetest accuracy
发现论文，激发创造
  • 解决训练和测试分辨率不一致的问题

    本文研究了如何通过使用低分辨率图像进行数据增广和微调来提高神经网络在图像分类中的性能，特别是在训练和测试分辨率不同时。通过实验证明，这种方法可以提高分类器的准确率，在 ImageNet 数据集上的单张图片分类准确率达到 86.4%（top-5:98.0%）。

    Jun, 2019

  • 小数据集有效训练的替代正则化方法

    通过使用替代的正则化策略来推动小图像分类数据集上的有监督学习，研究取得了与最先进的方法相当的测试准确率。

    Sep, 2023

  • 数据增广是否受益于分段批归一化

    本文旨在研究如何纠正使用数据增强技术训练深度神经网络时所导致的图像偏差问题，作者提出了一种辅助 BatchNorm 方法，实验结果表明，使用弱增强训练的 BatchNorm 参数可以明显提高 CIFAR-10、CIFAR-100 和 ImageNet 等常见图像分类基准测试的模型性能，同时，研究还揭示了使用不同 BatchNorm 参数所带来的精度和鲁棒性之间的基本权衡关系。

    Oct, 2020

  • 我们可以通过难样本学得更好吗？

    本研究提出一种新型的深度学习算法，该算法利用高误差 mini-batch 学习聚焦于欠表示的样本和复杂模式，并在多个公认数据集上测试，表明其相对于传统 mini-batch 训练方法能够显著提高测试准确性和加速收敛。

    Apr, 2023

  • 匹配数据增强分布增强预训练网络性能

    本文提出了一种简单的方法来解决训练和测试集之间的分布差异，通过在测试图像上使用多个随机裁剪的结果，并将其进行平均来提高预训练模型的性能。使用 softmax 平均可在不需要重新训练的情况下获得各种预训练网络的最佳性能。

    Jan, 2022

  • 数据子采样的高效增强

    本文提出了一种基于模型影响力和损失的子采样策略，可以在减少数据扩增集大小达到 90％的同时，实现相同的准确性和不变性优势。

    Oct, 2018

  • 数据丢弃：优化卷积神经网络的训练数据

    本文运用深度学习中的卷积神经网络构建了一种 Two-Round 训练方法，定位和排除不利于提高泛化准确性的训练样本，从而提高了基于图像分类和降噪的高级和低级计算机视觉任务的处理性能。

    Sep, 2018

  • 多尺度数据采样器在视觉应用中的有效性

    对多尺度分辨率训练的数据采样器进行了实证研究，发现其行为类似于隐式的数据正则化器，加快了训练速度并提高了模型的准确性、鲁棒性和数据校准性，同时通过渐进增加分辨率的简单课程对多尺度变量批量采样器进行了扩展，实现了 30% 以上的计算减少，并在检测和实例分割任务中观察到了训练 FLOP 减少 37% 以及 Mask R-CNN 模型 mAP 提升 3-4%。

    Sep, 2023

  • 并非所有样本都是相等的：使用重要性采样的深度学习

    本研究提出了一种基于重要性采样的计算优化方案，该方案能够减少深度神经网络训练过程中冗余计算，提升模型的训练效果并有效降低损失。实验结果显示，该方案能够在相同的时间预算下，将训练损失降低一个数量级，并提高测试误差 5％至 17％。

    Mar, 2018

  • 通过适应和增强检测时间鲁棒性

    本文提出了一种简单的方法，在没有模型训练过程的任何假设的情况下，通过在测试数据点上执行不同的数据增强并通过最小化平均输出分布的熵来适应模型参数，从而提高模型的鲁棒性。该方法在多个基准测试中都表现出色，并在 ImageNet-C、ImageNet-R 和 ImageNet-A 分布偏移基准测试中实现了最先进的结果。

    Oct, 2021