EfficientCL 是一种内存高效的持续预训练方法,通过对比学习和新颖的数据增强和课程学习来实现。在 GLUE 基准测试上,与基准模型相比,该模型的表现更好,尤其是在句子级任务上,并且只需要与基准模型相比仅有 70% 的计算内存。
Sep, 2021
该研究基于对简单的 CNN 使用几何和光度扩增方案的试验性结果,通过 4 折交叉验证考察了不同的数据扩增方案,并证明 crop 扩增在几何扩增方案中可以显著提高 CNN 任务性能。
Aug, 2017
本文系统地综述了不同的图像数据增强方法,提出了分类学,分析了这些方法的优点和局限性,以及在三个典型的计算机视觉任务上所做的大量实验,包括语义分割,图像分类和物体检测。最后,我们讨论了数据增强面临的挑战以及未来的研究方向,以提出一些有用的研究指导。
Apr, 2022
本文研究数据增强在图像分类中的应用,对比了多种增强技术,包括传统的裁剪、旋转和翻转以及使用 GAN 生成不同风格的图像,并提出了一种名为神经增强的方法,通过训练神经网络自学习增强,以提升分类器性能,对该方法在不同数据集上表现的优劣进行了讨论。
Dec, 2017
通过使用图像转图像的方法、以及预训练的文本到图像扩散模型将其参数化,解决了数据扩增过程中具有高级语义标注的动物种类等属性缺乏多样性的问题,并在少样本情境和杂草识别任务中得到实际应用。
Feb, 2023
通过数据增广技术 HiddenCut,可以更好地规范化模型,激励其学习更通用的特征,从而在 GLUE 基准测试上表现出比现有技术更好的表现。
May, 2021
本文介绍了几种新颖的深度学习训练技术,如广义模型无关课程学习方法和级联加和增强方法,它们不仅能够提高训练效率并改善深度网络训练过程中的优化平滑度、鲁棒性,而且还能够为计算机视觉任务提供更好的预测性能和模型稳健性。
Nov, 2022
本文研究数据增强在卷积神经网络中的隐式规则效应,与显式正则化技术(如权重衰减和 Dropout)相比,数据增强能更易于适应不同的网络结构和训练数据。通过对不同网络架构和训练数据量的消融研究,我们揭示了数据增强的优势,这是长期被忽视的问题。
Jun, 2019
该论文提出了一种名为 CutMix 的数据增强策略,该策略结合了区域 dropout 策略和图像贴图技巧,其旨在提高卷积神经网络的分类性能,改善对象定位和提高网络的鲁棒性。实验结果显示,CutMix 方法在 ImageNet 数据集上的分类任务中能够持续地超越当前领先的数据增强方法,同时还能提高由其预训练的分类器在 Pascal 检测和 MSCOCO 图像字幕生成等任务中的表现。
May, 2019
本文提出了一种基于 Attentive CutMix 的图像分类数据增强策略,在训练过程中利用中间层的注意力图寻找最具有辨别度的图像区域,能够显著提高基于卷积神经网络的图像分类性能。
Mar, 2020