Nov, 2023

PadChannel: 通过显式填充编码提高 CNN 性能

PDF
TL;DR提出了一种名为 PadChannel 的新型填充方法，通过将填充状态编码为额外的输入通道，使得卷积神经网络能够轻松区分真实像素和填充像素，并在计算成本微增的情况下在多个著名卷积神经网络架构中观察到小幅度性能改进和显著的方差减小，适用于 ImageNet-1K 图像分类任务。
convolutional neural networkspaddingpadchannelfeature extractionimagenet-1k
发现论文，激发创造
  • 利用周边预测填充改进卷积神经网络中的翻译不变性

    本文提出了一种名为 PP-Pad 的新型填充方法，该方法可以进行每个任务的填充值的端到端训练，从而取代了零填充方法，同时还提出了一种评估模型平移不变性的新方法，在一个语义分割任务中，这种方法实现了比以往方法更高的精度和平移不变性。

    Jul, 2023

  • CNN 中位置信息的深入研究：位置、填充和预测

    本论文研究了卷积神经网络（CNNs）中位置信息的编码方式和其对语义表征的影响，通过设计新颖的任务和语义目标测试终止边界对语义表征的影响，揭示零填充驱动 CNNs 在其内部表征中进行位置信息编码的新发现，并证明位置信息既可以帮助也可以阻碍性能。

    Jan, 2021

  • 注意细节 - CNNs 可能产生盲点

    探讨卷积网络中图像特征层在空间上偏倚的问题，并提出了一些解决方案，以改善模型准确性。

    Oct, 2020

  • 基于通道卷积的紧凑高效卷积神经网络

    本文介绍了使用通道卷积压缩深度模型的方法，这种方法在 CNN 中替换特征图之间的稠密连接为稀疏连接，从而构建轻量级 CNN。ChannelNets 使用三种通道卷积的实例，并通过对 ImageNet 数据集进行实验来证明了其在参数和计算成本上的显著性降低，且不影响准确性。

    Sep, 2018

  • 卷积填充与对抗鲁棒性的相互作用

    我们在这项工作中展示了对抗攻击经常在图像边界产生扰动异常，而图像边界正是使用 padding 的区域；因此，我们旨在分析 padding 与对抗攻击之间的相互作用，并探讨不同 padding 模式（或其缺失）对各种情境下的对抗鲁棒性的影响。

    Aug, 2023

  • 全局池化，不止眼见所及: CNN 中位置信息以通道方式编码

    本文挑战了将三维卷积神经网络中的空间维度通过全局池化折叠成向量会删除所有空间信息的普遍假设，并证明了基于通道维度排序编码位置信息，而语义信息大多不是。其次，我们提出了简单而有效的数据增强策略和损失函数以提高 CNN 输出的平移不变性，以及一种有效确定潜在表示中哪些通道负责编码整体位置信息或区域特定位置信息的方法。这些发现将受益于关注 CNN 特征的研究领域。

    Aug, 2021

  • 基于部分卷积的填充

    本文提出一种简单但有效的填充方案作为现有卷积神经网络的模块，我们将其称为基于部分卷积的填充，具有在卷积操作中根据填充区域和卷积滑动窗口面积的比率重新加权的功能，在 Imagenet 分类和语义分割测试中表现出比标准零填充更好的准确性。

    Nov, 2018

  • 通道调节神经网络

    本研究介绍了通道门控（channel gating）方法，该方法是动态、细粒度且硬件高效的裁剪方案，能够通过跳过对分类结果没有贡献的输入通道的计算，优化卷积神经网络。实验证明，该方法能够在几乎不损失准确度的情况下，实现浮点运算量减少 2.7-8.0 倍，内存访问减少 2.0-4.4 倍，并结合知识蒸馏可以进一步降低计算成本。我们还设计了一个加速器，能够以 2.4 倍的速度进行量化的 ResNet-18 模型的推理，并实现了 2.8 倍的理论 FLOP 减少。

    May, 2018

  • 基于核的微分特性保全的无填充卷积

    通过保留卷积核的微分特性，提出了一种不基于 padding 的保持尺寸的卷积方法，该方法与高分辨率图像和物理领域的实验表现出较其他方法明显的优越性。

    Sep, 2023

  • 透过图像特征的迷雾揭示位置信息模式的面纱

    本研究提出新的测量位置信息强度的度量方法，指出现有度量方法存在局限性，证明采用现有或新的页面方案，均主要是学习因素，而非其本身特征，并提供了 PPP（Padding 产生的位置信息模式）的定义和可视化方法。

    Jun, 2022