小波卷积神经网络用于纹理分类
本研究通过建立一个简单的网络架构(Texture CNN),探究了卷积神经网络(CNN)中深度特征提取层与纹理分析方法之间的相似性,并将纹理分析方法中的filter bank思想应用到神经网络中,证明了其对提升网络表现和大幅减少运算及占用空间的优势。
Jan, 2016
本文研究如何通过离散小波变换(DWT)代替传统的max-pooling,strided-convolution和average-pooling来提高卷积神经网络(CNN)的抗噪性能,并设计了WaveCNets来进行图像分类,实验证明WaveCNets相比于VGG,ResNets和DenseNet等传统版本具有更好的噪声鲁棒性和准确性。
May, 2020
该论文提出了一种将小波变换与CNN融合的方法,通过DWT/IDWT层将特征图分成低频和高频两部分来提高CNN对噪声和对抗性攻击的鲁棒性,并在COCO检测数据集上不断提高object detectors性能的实验结果表明,该方法可以有效提升CNN的训练速度和精度。
Jul, 2021
该文提出了一种基于非线性小波表示的统计方法,其可以用作一层CNN的一种实例来提高图像纹理合成的视觉质量。该方法取代了以往经典的小波模型,并在灰度和彩色纹理上达到了与最先进模型相似的视觉效果。
Mar, 2022
该研究采用21个不同的预训练Vision Transformer架构,评估其在纹理识别中的性能,并与卷积神经网络和手工设计模型进行比较。结果显示,Vision Transformers在纹理识别方面通常优于卷积神经网络和手工设计模型,尤其在使用更强的预训练和处理来自互联网的纹理任务时表现突出。其中,ViT-B with DINO pre-training,BeiTv2,Swin architecture以及EfficientFormer被认为是更具潜力的模型。此外,尽管GFLOPs和参数数量较高,ViT-B和BeiT(v2)在GPU上的特征提取时间比ResNet50更短,从而实现了更高的效率。
Jun, 2024
利用小波变换,我们提出了一种名为WTConv的卷积层,它能够获得非常大的感受野,而不会过度参数化,可在不同架构中使用,具有多频响应和良好的可扩展性。我们证明了WTConv层在图像分类和后续任务中的有效性,以及其对形状敏感性和纹理响应的增强。
Jul, 2024
本文针对卷积神经网络(CNN)的过拟合问题,提出了一种新颖的正则化方法——谱小波 dropout(SWD),通过在特征图的离散小波分解中随机丢弃详细频带,提高模型的泛化能力。与现有的傅里叶 dropout 方法相比,SWD 使用单一超参数,并在多个基准测试中表现出更低的计算复杂性与更优的性能。
Sep, 2024