Jan, 2018

卷积网络中的随机下采样，实现成本可调节推断和改进正则化

PDF
TL;DR本研究提出了一种成本可调的卷积神经网络推理方法 - 随机下采样点（SDPoint），通过对特征图进行随机下采样，使得同一模型的不同 SDPoint 实例具有不同的计算成本，并在训练中实施参数共享以提高正则化效果，在推理阶段，可根据不同的推理成本选择不同的 SDPoint 实例，已在图像分类问题上得到验证。
cnnsinferencecomputational budgetstochastic downsampling pointregularization
发现论文，激发创造
  • S3Pool: 随机空间采样池化

    本研究提出了一种具有随机空间采样的池化策略（S3Pool），其在多个流行的图像分类基准测试中表现出显著的改进。

    Nov, 2016

  • 卷积神经网络中的内容自适应下采样

    该论文提出了一种适应性下采样方案，通过允许以更高的分辨率处理信息丰富的区域而不是信息较少的区域，从而提高了各种已建立 CNN 的成本 - 准确性权衡效果。

    May, 2023

  • 点云分类的自适应分层下采样

    该研究提出了一种自适应化下采样方法来保留点云中的重要点，使其可以与任何基于图的点云卷积层结合成为一个卷积神经网络用于 3D 物体分类。该方法在点云类数据集 ModelNet40 中取得了最佳结果。

    Apr, 2019

  • 具有随机特征抽样和插值的空间自适应推断

    为了降低 CNN 计算中的空间冗余，本文提出了一种采样 - 插值方案，并针对离散采样位置的不可微性，采用基于 Gumbel-Softmax 分布的重新参数化技巧，以在计算机视觉任务中大幅节省计算量，同时保持准确性。

    Mar, 2020

  • 用全点卷积神经网络对自然图像的统计规律进行建模

    本文提出了一种基于深度学习的 CNN 网络结构来模拟自然图像的统计规律，并使用随机重排像素的方式提高 CNN 对于像素分布的关注度，采用点卷积核取代大卷积核，实现了更好的统计表示能力。实验结果表明，该网络在颜色校正和图像去雾两个应用中达到了可比较的性能，并且参数数量和计算成本比现有架构更小。

    Jan, 2018

  • 深度卷积网络定点训练中的挑战及其解决方法

    低数字精度如何影响神经网络的稳定性，以及如何通过随机舍入等方法提高固定点深度卷积网络的训练性能。

    Jul, 2016

  • 随机变换和扰动的正则化对深度半监督学习的提升

    本文探讨利用卷积神经网络进行半监督学习的问题，提出利用随机数据增强、dropout、随机最大池化等技术来提高分类器的鲁棒性及稳定性，并设计了一种利用多次前馈预测结果来减小随机性差异的无监督损失函数，并在多个基准数据集上进行验证。

    Jun, 2016

  • 深度卷积神经网络的随机池化正则化

    本文介绍一种基于随机过程和多项分布替代传统确定性池化操作的正则化卷积神经网络方法，并证明其能够与其他正则化方法相结合，如辍学和数据增强，实现更好的图像分类表现。

    Jan, 2013

  • 深度神经网络的可伸缩子采样推理

    该研究论文介绍了深度神经网络的误差界限、基于可伸缩子抽样的估计器以及基于该估计器构建的置信区间和预测区间。这些方法在计算效率、点估计 / 预测准确性和实用的置信区间和预测区间等方面都具有很好的性能。

    May, 2024

  • 使用平衡的超级神经网络学习 CNN 池化架构

    通过分析 ResNet20 网络在 CIFAR10 实验数据集中使用不同 pooling 配置的训练性能，本文发现预定义下采样配置并非最优选择，可以通过神经网络架构搜索来优化。同时，本文建议采用平衡混合的 SuperNets，可以使权重模型自动关联池化配置，从而降低池化配置之间的权重共享和相互影响。实验结果表明，本文提出的方法在 CIFAR10、CIFAR100 和 Food101 数据集上都优于其他方法，并改善了默认池化配置的性能。

    Jun, 2023