我们研究了在小数据集上训练视觉转换网络所面临的挑战，发现卷积神经网络可以通过利用其体系结构归纳偏差实现最先进的性能。我们探索了这种归纳偏差是否可以重新解释为视觉转换网络中的初始化偏差，并提出了一种新的初始化策略，可以在小数据集上实现与卷积神经网络相当的性能，同时保留其架构的灵活性。

Jan, 2024

本研究探讨了卷积神经网络在小初始化和梯度训练方法下内核权重的凝聚现象，实验证明该现象在卷积神经网络中同样存在且显著。理论上，本研究证明在有限的训练期间，具有小初始化的两层卷积神经网络内核将收敛至一个或几个方向，为对具有专业结构的神经网络表现出的非线性训练行为的更好理解迈出了一步。

May, 2023

研究了神经网络的子集重新初始化方法在 12 个基准图像分类数据集上的影响，提出了一种新的逐层重新初始化算法，该算法优于以前的方法，并表明可以通过逐层重新初始化卷积神经网络来提高其在小数据集上的准确性。

Sep, 2021

提出了一种增量训练方法，将原始网络分成子网络，并在训练过程中逐步将其合并到运行的网络中。此方法通过引入前瞻初始化，使网络动态生长更平滑，并可用于仅使用全局参数分数的情况下识别原始最先进网络的较小分区，以实现更快的训练。在 CIFAR-10 上报告了 ResNet 和 VGGNet 的训练结果。

Mar, 2018

本篇论文主要研究了如何利用适当分解卷积和激进的正则化等方法，使卷积神经网络计算效率最大化，并以 ILSVRC2012 分类挑战作为基准，报告了使用少于 2500 万参数的 5 亿乘加运算成本的网络，评估单帧评估的 top-1 误差 21.2％和 top-5 误差 5.6％的显著成果。

Dec, 2015

深度神经网络模型通常需要大量训练数据，但是最近的研究结果表明高度参数化的神经网络可以在没有预训练或显式正则化的情况下实现泛化，这对于传统的机器学习是完全违背常识的，该研究进一步证实了这一观点，对于卷积神经网络的应用具有启示意义。

May, 2022

本研究提出了一种新的方法，可以将视频中的时间信息与在图像上训练的空间卷积神经网络 (ConvNets) 相结合，避免了从头训练时空卷积神经网络 (Spatio-Temporal ConvNets) 的训练。我们提出了几种初始化的方法，用 ImageNet 学习的 2D 卷积权重初始化三维卷积层的权重，并展示了初始权重的重要性，以学习视频的时间表示。我们对 UCF-101 数据集进行了评估，并证明了相比于空间卷积神经网络 (ConvNets) 它的提高。

Mar, 2015

本文探讨了视觉 transformer（ViT）网络在小规模数据集上的训练问题，提出了通过重新解释卷积神经网络（CNN）的架构偏差作为 ViT 的初始化偏差，使其在小规模问题上表现出色，并保持其在大规模应用中的灵活性，该方法在诸多基准数据集（包括 CIFAR-10、CIFAR-100 和 SVHN）上实现了最先进的数据高效 ViT 学习性能。

Apr, 2024

本文探讨了在大型弱标记图像集上训练卷积网络以提升视觉特征表达的潜力，并证明了在 1 亿张 Flickr 图片与样本说明上训练出来的特征在多种视觉问题中表现良好，还能够妥善地捕捉单词之间的相似性，并学习不同语言之间的对应关系。

Nov, 2015

本文提出了一种统一多种连续卷积的框架，并介绍了一种基于方差的权重初始化策略，能够在学习面对点云时避免批标准化的缺陷，并实现与批标准化类似或更好的性能。

Dec, 2021