Jan, 2023

重新思考 1x1 卷积：我们能否使用冻结的随机滤波器训练 CNNs？

PDF
TL;DR本文研究表明，即使只初始化和不更新空间滤波器，某些 CNN 体系结构也可以通过重新解释逐点（1×1）卷积的概念来训练超越标准训练的模型，使其胜任 CIFAR 和 ImageNet 高测试精度，并具有模型鲁棒性，泛化性，稀疏性以及所需权重总数方面的良好特性。此外，我们提出了一种新的权重共享机制，可以在所有空间卷积层之间共享单个权重张量，从而大大减少权重的数量。
发现论文，激发创造
  • 低秩卷积滤波器在图像分类中训练 CNN 的有效性

    本文提出了一种通过使用卷积滤波器的低秩表示来创建计算有效卷积神经网络的新方法，该方法通过学习一组小的基础过滤器从头开始进行训练，使网络有效地初始化连接权重。通过使用该方法，我们在 CIFAR、ILSVRC 和 MIT Places 数据集上训练了几种现有的 CNN 体系结构，并证实其优异的性能。

    Nov, 2015

  • RePr: 卷积滤波器的改进训练

    研究表明，通过暂时修剪和恢复模型的子集滤波器，反复进行该过程，可以减少所学习特征的重叠，从而提高了模型的泛化能力；而在这种情况下，现有的模型修剪标准并不是选择修剪滤波器的最优策略，因此引入了滤波器之间内部正交性作为排名标准。这种方法适用于各种类型的卷积神经网络，能够提高各种任务的性能，尤其是小型网络的性能。

    Nov, 2018

  • 随机化数据上的卷积神经网络

    本文研究卷积神经网络在像素随机排列情况下的性能表现，发现图像的随机像素分布破坏了数据的分层结构并引入了长程相关性，使标准 CNN 难以捕捉，但膨胀卷积可以恢复一些像素相关性，从而提高性能。

    Jul, 2019

  • 用全点卷积神经网络对自然图像的统计规律进行建模

    本文提出了一种基于深度学习的 CNN 网络结构来模拟自然图像的统计规律，并使用随机重排像素的方式提高 CNN 对于像素分布的关注度，采用点卷积核取代大卷积核，实现了更好的统计表示能力。实验结果表明，该网络在颜色校正和图像去雾两个应用中达到了可比较的性能，并且参数数量和计算成本比现有架构更小。

    Jan, 2018

  • 深度卷积神经网络的可塑性：从随机修剪中恢复

    本文研究深度卷积神经网络滤波器修剪方法，通过检验实验证明，我们使用随机滤波器修剪策略能够获得接近最先进修剪方法的性能，同时在图像分类和目标检测中均能实现显著的加速。

    Jan, 2018

  • CNN Filter DB: 训练卷积过滤器的实证研究

    本文研究的是卷积神经网络的权重分布偏移对于预训练模型的稳健性的影响，提出了一个包含超过 14 亿卷积滤波器的数据集，并通过分析数据集展示了现有预训练模型的一些局限性。

    Mar, 2022

  • 深度卷积网络中归纳偏见的理论分析

    本文研究卷积神经网络中的归纳偏差，证明了一定深度下 CNN 可以进行连续函数的逼近以及 CNN 具有吸收长距离稀疏相关性的能力，并通过对称性分析证明权重共享与局部性对学习的重要性。

    May, 2023

  • 全连接层在低数据域中的异常有效性

    本文提出了一种简单而有效的框架，将现代卷积神经网络 (CNNs) 与全连接 (FC) 层相结合，展示了这种架构变化在小数据区间的巨大影响。另外，还提出了一种在线联合知识蒸馏方法，以利用额外的 FC 层来提高 CNN 模型的泛化能力，并在测试时避免了它们。我们在超级学习和主动学习的几个标准数据集上进行了分类实验，实验结果明显优于没有全连接层的网络，在有监督设置下准确率最高可达到 16%。

    Oct, 2022

  • 将卷积算子进行泛化，以扩展卷积神经网络到不规则域

    本论文提出一种使用权重共享和基于图的运算符将 CNN 推广到不规则领域的新方法，并进行实验展示，表明对于扭曲的图像，这种模型比感知器模型具有更好的性能。

    Jun, 2016

  • 过参数化卷积神经网络中的特征学习机制：局部核归一化

    深度神经网络具有自动从原始数据中学习相关特征的能力，但完全连接（FC）和卷积架构（CNN）中的特征学习方式不同。本研究通过理论和实验证明了有限宽度 FC 网络的泛化性能可以通过选择适当的高斯先验来获得无限宽度网络的结果，而具有卷积隐藏层的架构则展现出了一种不同的特征学习方式。

    Jul, 2023