本研究旨在通过应用离散傅立叶变换和频谱表示提供有效的计算卷积方法,并且展示频谱域应用于卷积神经网络设计的创新,如频谱池化、随机修改分辨率的新形式随机正则化、卷积过滤器的复系数频谱参数化等。在不使用任何dropout或max-pooling的情况下,这些方法在分类和逼近任务中取得了有竞争力的结果,并且观察到这些方法可以显著加快训练的收敛速度。
Jun, 2015
本研究提出了一种新型的卷积神经网络,即小波卷积神经网络,将频域分析与卷积神经网络相结合,并在纹理分类中实验表明该模型比传统卷积神经网络的表现更好,且参数数量更少,易于训练。
Jul, 2017
提出了一种快速而灵活的去噪卷积神经网络FFDNet,具有可调的噪声等级映射作为输入,能够处理各种噪声水平并能去除空间变异噪声,且速度快于BM3D。
Oct, 2017
提出了一种称为`Spectral Dropout'的新方法,它可以通过固定基函数的正交变换的形式将其转化为正则卷积神经网络(CNN)的权重层,通过消除神经网络激活的弱且嘈杂的傅里叶系数来预防过拟合,相比当前正则化方法具有显著提高网络收敛速度以及神经元精简率的效果,并且可以与其他正则化方法共同使用。
Nov, 2017
我们提出了一种新的CNN架构,Wavelet CNN结合多分辨率分析和CNNs成为一个模型,在图像分类和图像注释等任务中,它比传统CNN具有更好的性能与较少的参数。
May, 2018
本文介绍了一种结构化的DropBlock正则化形式,适用于卷积神经网络。在ImageNet分类和COCO检测中,使用DropBlock对ResNet-50和RetinaNet的平均精度和准确率都有了明显的提升。
Oct, 2018
通过DCGAN、LSGAN、WGAN-GP和StarGAN等实验,我们证明了CNN生成图像中的高频谱衰减特征并非根本性缺陷,可以通过微小结构调整避免。同时,我们成功绕过了最近提出的利用高频谱衰减属性进行CNN生成图像检测的技术。这些结果表明,高频谱衰减属性并非鲁棒性特征且无法用于CNN生成图像检测,这需要重新思考。
Mar, 2021
该论文提出了一种将小波变换与CNN融合的方法,通过DWT/IDWT层将特征图分成低频和高频两部分来提高CNN对噪声和对抗性攻击的鲁棒性,并在COCO检测数据集上不断提高object detectors性能的实验结果表明,该方法可以有效提升CNN的训练速度和精度。
Jul, 2021
本文介绍了一种新的在频域归一化特征图的有效方法 - 频谱批量归一化(SBN),通过实验证明该方法可以避免特征图在初始化时和整个训练过程中的爆炸问题,使得深度神经网络的表现得到了显著提高。
Jun, 2023
WaveDH是一个新颖而紧凑的ConvNet,利用小波分解从特征层中提取低频和高频组件,以提高处理速度并实现高质量重建,在频率感知的基础上对特征进行了优化,以在计算成本和准确性之间取得有利的权衡,通过大量实验证明,WaveDH方法在多个图像去雾基准上优于许多最先进的方法,并大幅降低了计算成本。
Apr, 2024