频率规则化：约束卷积神经网络的信息冗余

Apr, 2023

频率规则化：约束卷积神经网络的信息冗余

Frequency Regularization: Restricting Information Redundancy of Convolutional Neural Networks

Chenqiu Zhao, Guanfang Dong, Shupei Zhang, Zijie Tan, Anup Basu

TL;DR本文提出一种名为频率正则化的方法，在频域约束网络参数的非零元素，进而可以极大程度上压缩神经网络的参数，保证网络训练的同时提高计算效率和节约存储空间。通过在多种现有神经网络架构上的实证，验证了此方法在装备有 GPU 执行引擎的嵌入式设备场景下的优越性。

Abstract

convolutional neural networks have demonstrated impressive results in many computer vision tasks. However, the increasing size of these networks raises concerns about the information overload resulting from the large number of →

convolutional neural networks frequency regularization network parameters tensor level state-of-the-art network architectures

发现论文，激发创造

基于过拟合的图像压缩的频率感知再参数化

通过在频域进行直接优化的离散余弦变换（DCT）卷积核加权求和的重新参数化方法，在低计算成本下，通过与 L1 正则化相结合，实现了显著改善的率失真性能，从而克服了过拟合图像压缩中的权重存储问题和实用性快速收敛困难。

Oct, 2023

频域学习

通过在频域进行学习和频道选择，我们提出了减少冗余和显著信息以提高图像分类精度的学习方法，得出使用该方法的 ResNet-50、MobileNetV2 和 Mask R-CNN 在图像分类和实例分割上表现更好的结论。

Feb, 2020

正则化的线性卷积网络从图像统计中继承频率敏感性

通过理论和实验，我们证明了卷积神经网络对低频信号的敏感性是自然图像的频率分布的结果，该分布已知在低到中频率范围内具有大部分功率。我们的理论分析依赖于卷积神经网络层在频率空间的表示，这个想法以前已经被用来加速计算和研究网络训练算法的隐含偏差，但据我们所知，还没有应用于模型的稳健性领域。

Oct, 2022

压缩卷积神经网络

本文介绍了一种名为 FreshNets 的新型神经网络体系结构，它利用学习模型的卷积层和全连接层中的固有冗余性以实现内存和存储消耗的显着节省，同时在压缩性能方面优于现有基线模型。

Jun, 2015

卷积神经网络的带限训练和推断

本文研究卷积神经网络的频率约束技术，实验结果显示，该技术可以控制资源使用（GPU 和内存），同时不影响模型的准确率，且无需修改现有的算法或神经网络架构。

Nov, 2019

在频域中学习卷积神经网络

该论文提出 CEMNet，一种可以在频域训练卷积神经网络的方法。利用分频域组将卷积操作替换为逐元素乘法操作，显著降低计算复杂度，并引入一些机制来解决过拟合的问题。

Apr, 2022

内存受限的深度卷积神经网络

本研究探讨了在卷积神经网络的训练过程中使用稀疏性正则化的方法。我们的实验结果表明，使用这种正则化方法可以大幅减少神经网络所需的存储和计算开销，并且不会显著降低准确性。

Dec, 2014

计算机视觉模型的傅里叶敏感性和正则化

本研究通过一种可靠的方法，研究了深度神经网络的频率敏感特性并提出了一种傅里叶正则化框架来改善模型的鲁棒性。

Jan, 2023

频率正则化提高对抗鲁棒性

本研究在深度神经网络安全领域提出了一种方法，即通过频率正则化和随机权重平均方法，提高 Adversarial Training 的鲁棒性，实现对 PGD-20、C&W、Autoattack 等方式的攻击具有更加强大的抵抗能力。

Dec, 2022

分析卷积神经网络在频域的稳定性

通过使用四维可视化技术，本文探讨了在频域下分析 ConvNets 内部过程的可能性，研究了 ConvNets 对噪声的稳定性，并发现利用加入噪声的训练集来微调 ConvNets 可以提高其稳定性。

Nov, 2015