该研究通过系统实验和理论构建发现，传统方法很难解释为什么大型神经网络的泛化性能良好，即使加入正则化仍然不会改变随机标记训练数据的状态，因为只要参数数量超过数据点数量，简单的两层神经网络就能实现完美的有限样本表达能力。

Nov, 2016

该论文介绍了一种名为 “多样本丢弃” 的强化丢弃 (dropout) 技术，它可以加速训练并提高网络的泛化性能。该方法采用多个丢弃样本进行训练，并通过对这些样本的损失值求平均来减少过拟合，实验结果表明，相比原始的 dropout 技术，使用该方法可以得到更低的分类错误率。

May, 2019

本研究证明，基于深度神经网络的图像分类模型可以从含有数量远多于准确标签的训练数据中进行有效学习，表现出良好的测试性能提升，这种学习需要增加数据集大小作为代价。

May, 2017

通过不同的深度学习算法以及数据集，我们发现在数据集有限的情况下，模型的复杂度是一个至关重要的因素，我们的研究表明，与过去文献不同的是，在一些配置下，使用低复杂度的卷积神经网络可以达到或超过现有的极限水平。此外，数据扩充也可以大幅提高性能，并且在数据量有限的情况下，dropout 仍然表现出良好的正则化效果。

Mar, 2020

对现代深度卷积网络（CNN）未能在分布漂移下推广的问题进行了研究，并探究了预备数据量、模型规模和数据处理流程对迁移性能的影响，发现增加训练集和模型大小显著提高了分布偏移鲁棒性，同时是非常简单的预处理，如修改图像分辨率在某些情况下可以显著缓解鲁棒性问题。最后，我们提出了一个新的综合数据集 SI-Score 进行了系统的分析。

Jul, 2020

本文探讨了深度卷积神经网络是否能解决数据集偏差问题以及在新领域适应的方法，并且通过实验展示了在可视化领域适应数据集能提高深度模型识别性能。

Dec, 2013

研究深度神经网络中的噪声问题，提出双通道模型来改善图像分类性能。

Oct, 2017

研究表明，通过暂时修剪和恢复模型的子集滤波器，反复进行该过程，可以减少所学习特征的重叠，从而提高了模型的泛化能力；而在这种情况下，现有的模型修剪标准并不是选择修剪滤波器的最优策略，因此引入了滤波器之间内部正交性作为排名标准。这种方法适用于各种类型的卷积神经网络，能够提高各种任务的性能，尤其是小型网络的性能。

Nov, 2018

本文提出一种基于反馈机制的面向难度级别泛化的深度卷积神经网络图像修复模型自动生成的算法，旨在避免 “固定” 模型对于固定难度级别的训练。实验表明，在四个图像修复任务上，本算法均优于传统训练和课程学习替代方案。

Dec, 2016

使用高辍学率而不是集成技术，通过精细调整来获得丰富的表示，其实现出超过集成方法和权重平均方法的超越分布性能，从而为庞大预训练模型的微调情景提供了实际意义。

Mar, 2024