CVPRJul, 2019

随机化数据上的卷积神经网络

PDF
TL;DR本文研究卷积神经网络在像素随机排列情况下的性能表现，发现图像的随机像素分布破坏了数据的分层结构并引入了长程相关性，使标准 CNN 难以捕捉，但膨胀卷积可以恢复一些像素相关性，从而提高性能。
convolutional neural networkscomputer visionhierarchical structurepixel randomizationdilated convolutions
发现论文，激发创造
  • 用全点卷积神经网络对自然图像的统计规律进行建模

    本文提出了一种基于深度学习的 CNN 网络结构来模拟自然图像的统计规律，并使用随机重排像素的方式提高 CNN 对于像素分布的关注度，采用点卷积核取代大卷积核，实现了更好的统计表示能力。实验结果表明，该网络在颜色校正和图像去雾两个应用中达到了可比较的性能，并且参数数量和计算成本比现有架构更小。

    Jan, 2018

  • 通过随机卷积实现强健和可泛化的视觉表示学习

    本文研究证明，数据增强中使用多尺度的随机卷积来增加数据集的多样性，可以显著提高神经网络的鲁棒性和泛化性能，特别是在图片领域的常见深度学习挑战中，描述如何将其应用于各种深度学习模型上。

    Jul, 2020

  • 卷积神经网络的近视性质

    通过小块状的看似无法识别的图块来分类图像可以使卷积神经网络 (CNNs) 的性能匹配或甚至超越使用完整图像训练的 CNNs 的性能，并且过度拟合似乎不是必须的。

    May, 2022

  • 卷积神经网络在图结构数据上的推广

    本研究介绍了一种卷积神经网络的泛化方法，使其适用于图形结构数据，使用随机游走揭示输入数据内部关系，通过学习底层图将其应用于许多标准分类或回归问题。

    Apr, 2017

  • 卷积神经网络结构分析与优化

    本文提供了对现有技术的卷积神经网络分析和拓扑构建的全面概述，并描述和评估了一些层次分类器。此外，本文还开发了一种可视化分类错误的新方法，并在 CIFAR-100 上量化了一些结果，如在精度方面较小批量大小、平均集成、数据增强和测试时间转换等的积极影响。本文还开发了一个模型，它只有 100 万个学习参数，适用于 32x32x3 和 100 类输入，并在基准数据集 Asirra、GTSRB、HASYv2 和 STL-10 上击败了现有技术。

    Jul, 2017

  • 深度神经网络如何学习组合数据：随机层次模型

    本文探讨了使用深度卷积神经网络训练高维数据的难点，回答了在随机分层模型中学习所需的训练数据量成长与类别数、高级特征组成式的幂、重复次数成多项式关系的问题，并给出了相应的估算方法。

    Jul, 2023

  • 为什么深度卷积神经网络对小图像变换的泛化性表现很差？

    本文研究了卷积神经网络在面对微小图像变换时不具有不变性及其成因。作者提出传统的卷积架构不满足传统采样定理及数据增强只适用于与训练集中典型图像相似的图像，且两种解决方案只能部分解决问题。因此，在网络保持高准确率的情况下保证不变性的问题仍未解决。

    May, 2018

  • 通过随机化减轻对抗性影响

    本文提出利用随机化在推理时间解决对抗性样本攻击的问题，采用随机的大小和填充来进行防御，现在已经成为一种非常有效的方法，公开代码可用。

    Nov, 2017

  • 深度卷积神经网络的可塑性：从随机修剪中恢复

    本文研究深度卷积神经网络滤波器修剪方法，通过检验实验证明，我们使用随机滤波器修剪策略能够获得接近最先进修剪方法的性能，同时在图像分类和目标检测中均能实现显著的加速。

    Jan, 2018

  • 利用卷积生成器的结构偏差进行降噪和正则化

    卷积神经网络在图像生成、还原和修复中具有良好的性能，即使在没有训练数据的情况下，通过应用随机初始化的过参数化凸轮生成器拟合噪声和损坏的自然图像可以去除图像噪声。在这篇论文中，作者将这种现象归因于卷积网络的特定架构选择，即使用固定插值滤波器进行卷积，并证明早期停止的梯度下降可用于去噪和对其他逆问题进行正则化。

    Oct, 2019