ICMLNov, 2019

卷积神经网络的带限训练和推断

PDF
TL;DR本文研究卷积神经网络的频率约束技术，实验结果显示，该技术可以控制资源使用（GPU 和内存），同时不影响模型的准确率，且无需修改现有的算法或神经网络架构。
发现论文，激发创造
  • 正则化的线性卷积网络从图像统计中继承频率敏感性

    通过理论和实验，我们证明了卷积神经网络对低频信号的敏感性是自然图像的频率分布的结果，该分布已知在低到中频率范围内具有大部分功率。我们的理论分析依赖于卷积神经网络层在频率空间的表示，这个想法以前已经被用来加速计算和研究网络训练算法的隐含偏差，但据我们所知，还没有应用于模型的稳健性领域。

    Oct, 2022

  • 有限训练样本下的谐波网络

    本研究表明，使用离散余弦变换（DCT）滤波器的谐波块，可在有限的训练数据情况下与使用小波作为预设滤波器的散射网络相比，有效降低训练参数数量和过度拟合，从而提高卷积神经网络（CNN）的性能。

    Apr, 2019

  • 频率规则化：约束卷积神经网络的信息冗余

    本文提出一种名为频率正则化的方法，在频域约束网络参数的非零元素，进而可以极大程度上压缩神经网络的参数，保证网络训练的同时提高计算效率和节约存储空间。通过在多种现有神经网络架构上的实证，验证了此方法在装备有 GPU 执行引擎的嵌入式设备场景下的优越性。

    Apr, 2023

  • BANF：用于详细层次重建的带限神经场模型

    通过简单修改，我们可以获得经过低通滤波的神经场，并展示如何利用此技术获得整个信号的频率分解，从而有效地计算出更粗糙的表示形式。

    Apr, 2024

  • 学习卷积神经网络压缩的滤波器基础

    本论文提出基于卷积层中滤波器基的卷积神经网络参数数量缩减的方法，通过在多个 CNN 架构上对图像分类和图像超分辨率基准进行实验，结果表明该方法在减少参数和保持精确度方面优于现有技术。

    Aug, 2019

  • 高频分量有助于解释卷积神经网络的泛化能力

    本文研究了图像数据的频谱与卷积神经网络（CNN）的泛化行为之间的关系，揭示了 CNN 捕获高频率组件的能力，提出与 CNN 泛化行为相关的多个假设，并探讨了 CNN 在鲁棒性与准确性之间的平衡及训练启发式的一些证据。

    May, 2019

  • 超越低通滤波：自动过滤的图卷积网络

    本文提出了 Automatic Graph Convolutional Networks (AutoGCN) 来捕获图信号的全部频谱，并自动更新图卷积滤波器的带宽，实验结果表明，AutoGCN 比只能作为低通滤波器的基准方法有了显著的改进。

    Jul, 2021

  • 分析卷积神经网络在频域的稳定性

    通过使用四维可视化技术，本文探讨了在频域下分析 ConvNets 内部过程的可能性，研究了 ConvNets 对噪声的稳定性，并发现利用加入噪声的训练集来微调 ConvNets 可以提高其稳定性。

    Nov, 2015

  • 快速局部谱滤波的图卷积神经网络

    该研究将卷积神经网络推广到高维不规则图像中，通过谱图理论提出了一种卷积滤波器设计方法，在保持线性和常数学习复杂度的同时，实现了对任意图结构的卷积作用，成功在图像识别领域实现了局部、平稳、组合特征的学习。

    Jun, 2016

  • 基于 CNN 的分段线性系统信号检测

    本研究使用卷积神经网络 (CNN) 设计高精度低复杂度信号检测器，通过利用通道矩阵的带状结构来提高性能，该 CNN 检测器在不同系统尺寸上表现出良好的自适应性并克服了深度学习中普遍存在的维数灾难问题。实验结果表明，与传统的深度神经网络和现有的基于模型的检测器相比，该 CNN 检测器在精度和计算时间上均表现出更好的性能，适用于具有大尺寸或宽频带的系统，并且可以轻松地扩展到近带线性系统。

    Sep, 2018