May, 2022

无需显式正则化，使用极少数据从头开始学习的大型神经网络

PDF
TL;DR深度神经网络模型通常需要大量训练数据，但是最近的研究结果表明高度参数化的神经网络可以在没有预训练或显式正则化的情况下实现泛化，这对于传统的机器学习是完全违背常识的，该研究进一步证实了这一观点，对于卷积神经网络的应用具有启示意义。
neural networksover-parameterizedgeneralizetrainingfine-grained image classification
发现论文，激发创造
  • 重新思考泛化对于了解深度学习至关重要

    该研究通过系统实验和理论构建发现，传统方法很难解释为什么大型神经网络的泛化性能良好，即使加入正则化仍然不会改变随机标记训练数据的状态，因为只要参数数量超过数据点数量，简单的两层神经网络就能实现完美的有限样本表达能力。

    Nov, 2016

  • 卷积神经网络的数据相关初始化

    该研究提出了一种快速、简单的数据依赖初始化过程，可避免幻灭或爆炸梯度，并能够与当前领先的无监督或自监督预训练方法相匹配，同时比前人的方法快大约三个数量级，当与预训练方法结合时，可以显著优于先前的工作，在监督和无监督预训练之间缩小差距。

    Nov, 2015

  • 随机加权网络的有趣属性：在几乎没有学习的同时进行泛化

    该论文研究深度神经网络的性质和学习方式，发现在深层卷积神经网络中，固定大部分权重可以在性能表现上与训练所有权重相媲美，探讨了该性质在创建更强鲁棒性的表示方面的应用。

    Feb, 2018

  • CurriculumNet: 大规模网络图像弱监督学习

    该论文提出了一种基于课程学习的弱监督学习方法，通过对大规模网络图像数据进行无人工标注的深度神经网络训练，实现对大量噪声数据和数据分布不均等问题的有效处理和噪声标签的负面影响的显著降低，构建一种新的课程学习架构，使得使用高噪声标签的图像作为一种正则化策略可以惊人地提高模型的泛化能力，在 WebVision、ImageNet、Clothing-1M 和 Food-101 等四个基准测试中取得了最先进的性能，多模型集成的结果在 1000 种类别分类中取得了 5.2% 的 top-5 错误率，相对误差率超过 50%。

    Aug, 2018

  • 低秩卷积滤波器在图像分类中训练 CNN 的有效性

    本文提出了一种通过使用卷积滤波器的低秩表示来创建计算有效卷积神经网络的新方法，该方法通过学习一组小的基础过滤器从头开始进行训练，使网络有效地初始化连接权重。通过使用该方法，我们在 CIFAR、ILSVRC 和 MIT Places 数据集上训练了几种现有的 CNN 体系结构，并证实其优异的性能。

    Nov, 2015

  • 从大规模的弱监督数据中学习视觉特征

    本文探讨了在大型弱标记图像集上训练卷积网络以提升视觉特征表达的潜力，并证明了在 1 亿张 Flickr 图片与样本说明上训练出来的特征在多种视觉问题中表现良好，还能够妥善地捕捉单词之间的相似性，并学习不同语言之间的对应关系。

    Nov, 2015

  • 学习权重和连接以实现高效神经网络

    通过三步法修剪不必要的神经元连接，我们成功将 AlexNet 的参数从 6100 万精简到了 670 万，无性能损失。

    Jun, 2015

  • 存在糟糕的全局最小值，并且 SGD 可以到达它们

    通过研究深度神经网络的显式正则化对随机梯度下降的作用，证实显式正则化对于高参数化的神经网络成功的贡献远比随机梯度下降方法更为重要。

    Jun, 2019

  • 从人脑中学习如何正则化机器

    通过使用大规模神经系统数据对卷积神经网络进行正则化来学习更强的神经特征，以提高模型对于对抗扰动和噪声的分类鲁棒性。

    Nov, 2019

  • 探索弱监督预训练的极限

    本文探讨了利用大规模社交媒体图像预测 hashtag 的卷积神经网络进行的迁移学习的行为，并展示了相应的实验结果，证明进行大规模预训练能够显著提高图片分类和物体检测任务的表现。

    May, 2018