深度学习小数据的研究

Mar, 2020

A Close Look at Deep Learning with Small Data

L. Brigato, L. Iocchi

TL;DR通过不同的深度学习算法以及数据集，我们发现在数据集有限的情况下，模型的复杂度是一个至关重要的因素，我们的研究表明，与过去文献不同的是，在一些配置下，使用低复杂度的卷积神经网络可以达到或超过现有的极限水平。此外，数据扩充也可以大幅提高性能，并且在数据量有限的情况下，dropout 仍然表现出良好的正则化效果。

Abstract

In this work, we perform a wide variety of experiments with different deep learning architectures on datasets of limited size. According to our study, we show that model complexity is a critical factor when only a few samples per class are available. Differently from the literature, we

deep learning limited dataset model complexity data augmentation dropout

发现论文，激发创造

深度学习中小样本量问题的探究

本文从输入空间、模型空间和特征空间三个角度出发，综述深度学习中针对小样本问题的算法，特别地介绍了动态注意力池化方法。该方法通过对特征图最具差异性的子区域进行全局信息的提取，显著提升了 ResNet 模型在 SVHN、C10、C100 和 TinyImageNet 这些小规模公开数据集上的性能。

Aug, 2020

重新思考泛化对于了解深度学习至关重要

该研究通过系统实验和理论构建发现，传统方法很难解释为什么大型神经网络的泛化性能良好，即使加入正则化仍然不会改变随机标记训练数据的状态，因为只要参数数量超过数据点数量，简单的两层神经网络就能实现完美的有限样本表达能力。

Nov, 2016

小数据集有效训练的替代正则化方法

通过使用替代的正则化策略来推动小图像分类数据集上的有监督学习，研究取得了与最先进的方法相当的测试准确率。

Sep, 2023

用数据为中心的方法训练深度神经网络减少数据

本论文总结了在数据中心人工智能比赛中的获胜结论，提出了针对小数据集训练的质量增强方法和基于生成对抗网络的数据点生成解决方案，并指出该管道生成的数据集在比基准要小的情况下提高了 5% 的准确度。

Oct, 2021

使用数据增强、Focal Cosine Loss 和集合方法进行图像分类的高效深度学习方法

为提高深度学习模型的性能和泛化能力，本论文提出了数据、损失函数和预测等三个方面的技术，以有效地利用小数据集进行训练。通过利用仅包含每类 50 张图像的 ImageNet 数据，我们取得了高准确率，并在 “数据有效计算机视觉挑战” 中排名第四。

Jul, 2020

数据丢弃：优化卷积神经网络的训练数据

本文运用深度学习中的卷积神经网络构建了一种 Two-Round 训练方法，定位和排除不利于提高泛化准确性的训练样本，从而提高了基于图像分类和降噪的高级和低级计算机视觉任务的处理性能。

Sep, 2018

浅层学习作为深度学习的替代方案

拟合深度学习基础理论的神经网络架构 —— 卷积层可以达到与深度卷积神经网络类似的性能，并有一个可识别其普遍行为的幂律现象。

Nov, 2022

深度模型压缩：从带噪声的教师中提取知识

本研究通过引入基于噪声的正则项对深度学习模型压缩中的教师 - 学生框架进行扩展，以解决模型存储大小、运行时复杂度和训练时复杂度等问题，实验结果在 CIFAR-10 数据集上表现最佳，表明该方法在深度模型压缩方面有潜力。

Oct, 2016

CheXpert5000 上现代架构和正则化方法的全面研究

本文通过对只有 5000 个样本图片的 CheXpert 数据集的医学图像分类进行现代架构的比较研究，发现在低数据实验中，以 ImageNet21k 为预训练数据集是可行的，并且较大的模型需要较少的训练步骤。同时，本文的研究验证了 MixUp 或 Mean Teacher 正则化技术能够提高模型的校准性能，其中 MixUp 技术还能提高模型的准确性。

Feb, 2023

深度网络真的需要权重衰减和丢弃吗？

通过实验研究发现，即使不采取常见的正则化技术，通过引入足够的数据扩增，可以实现深度神经网络在目标识别上的高准确性

Feb, 2018