Oct, 2022

全连接层在低数据域中的异常有效性

PDF
TL;DR本文提出了一种简单而有效的框架，将现代卷积神经网络 (CNNs) 与全连接 (FC) 层相结合，展示了这种架构变化在小数据区间的巨大影响。另外，还提出了一种在线联合知识蒸馏方法，以利用额外的 FC 层来提高 CNN 模型的泛化能力，并在测试时避免了它们。我们在超级学习和主动学习的几个标准数据集上进行了分类实验，实验结果明显优于没有全连接层的网络，在有监督设置下准确率最高可达到 16%。
convolutional neural networkstransformersmlp-based architecturesgeneralizationfully-connected layers
发现论文，激发创造
  • 卷积网络是否需要完全连接的输出层？

    本文提出用固定层替换神经网络中的全连接层以提升效率的思路并进行实验，结果表明完全移除全连接层及其参数即可达到最优性能，而使用全连接输出层的传统方法在参数数量上效率低下。

    Apr, 2020

  • 没有卷积能走多远：改进全连接网络

    探讨改进全连接网络的性能的方法，提出了线性瓶颈层和非监督预训练方法的影响，探索它们如何通过提高梯度流和减少稀疏性来改进网络，展示全连接网络在置换不变的 CIFAR-10 任务上达到了约 70% 的分类准确率，添加变形数据后达到了 78% 的准确率，接近卷积网络的水平。

    Nov, 2015

  • 完全卷积网络优化空间的可视化洞察

    本文通过可视化优化地形图，比较了三个基于 FCN 的模型在多个数据集上的性能，并探索了 FCN 中跳过层连接与模型广义能力之间的关系，以及不同批量大小下的损失表面与模型广义能力的关系。

    Jan, 2019

  • 深度炸神经网络

    本文介绍了使用单个 Fastfood 层代替卷积神经网络中的所有全连接层，并将其与卷积层结合成新的架构，名为深度炸炸卷积网络，从而大幅减少 MNIST 和 ImageNet 训练的卷积网络的内存占用并保持预测性能不变。

    Dec, 2014

  • RepMLP: 将卷积重新参数化为全连接层，用于图像识别

    通过在全连接层中加入留先验，我们提出了 RepMLP 这个用于图像识别的神经网络模块。我们将卷积层嵌入 RepMLP 中，从而结合了全局表征能力和位置感知能力，并通过在 CNN 中插入 RepMLP 进一步提高了准确性。

    May, 2021

  • 融合深度卷积网络进行大规模视觉概念分类

    本研究从大数据方面对卷积神经网络进行了分析，并在单个和多个网络模型上提出了有效的融合机制，为大数据从业人员提供了最佳实践，从而在保持计算成本较低的情况下，在基准数据集上取得了最先进的结果。

    Aug, 2016

  • 过参数化卷积神经网络中的特征学习机制：局部核归一化

    深度神经网络具有自动从原始数据中学习相关特征的能力，但完全连接（FC）和卷积架构（CNN）中的特征学习方式不同。本研究通过理论和实验证明了有限宽度 FC 网络的泛化性能可以通过选择适当的高斯先验来获得无限宽度网络的结果，而具有卷积隐藏层的架构则展现出了一种不同的特征学习方式。

    Jul, 2023

  • 稀疏连接神经网络：实现深度神经网络的高效 VLSI 设计

    本文介绍了一种基于稀疏连接实现深度神经网络的方法，并提出了一种有效的硬件架构，该方法可以减少高度复杂的神经网络的内存需求，并且可以降低能耗高昂的问题。该方法的实现可以在三个流行数据集上提高准确性，同时减少高达 90% 的连接和存储需求以及 84% 的能耗消耗。

    Nov, 2016

  • 卷积层下的宝藏：交叉卷积层池化用于图像分类

    本文介绍一种新技术 cross-convolutional-layer pooling，并探讨卷积层激活的图像表示方式在使用中的优点和不足，通过应用于四个流行的视觉分类任务，证明该方法具有可比较或显著更好的性能，而造成的计算成本要低得多。

    Nov, 2014

  • 深度神经网络的完全动态推断

    提出了一种全动态模型的方法，称为 LC-Net，旨在最大化深度卷积神经网络的计算效率和任务准确性，通过以层和卷积滤波通道为单位的层次推理动力学，能够预测冗余层和卷积滤波器 / 通道并学习保留计算结果以实现最大化任务准确性。

    Jul, 2020