本文提出了一种新的基于频域训练的元素逐位乘法层(EML),用于替代卷积层,并引入了权重固定机制以缓解过拟合问题。同时,分析了批量归一化和丢弃机制在频域中的工作行为。为了在计算复杂度和内存使用之间达到平衡,提出了一种新的网络结构,即时间频域混合网络(TFDMNet),结合了卷积层和 EML 的优势。实验证明,与对应的 CNN 相比,TFDMNet 在 MNIST、CIFAR-10 和 ImageNet 数据库上具有更好的性能并且操作数更少。
Jan, 2024
通过在频域进行学习和频道选择,我们提出了减少冗余和显著信息以提高图像分类精度的学习方法,得出使用该方法的 ResNet-50、MobileNetV2 和 Mask R-CNN 在图像分类和实例分割上表现更好的结论。
Feb, 2020
通过使用四维可视化技术,本文探讨了在频域下分析 ConvNets 内部过程的可能性,研究了 ConvNets 对噪声的稳定性,并发现利用加入噪声的训练集来微调 ConvNets 可以提高其稳定性。
Nov, 2015
提出一种新颖的残差循环多小波卷积神经网络 R2-MWCNN 用于低光图像增强和降噪,该网络通过多层离散小波变换将输入特征图划分为不同的频率,提出了通道损失函数来更正颜色扭曲,实验证明该方法在量化和定性上优于现有的方法。
Jun, 2023
本文提出一种名为频率正则化的方法,在频域约束网络参数的非零元素,进而可以极大程度上压缩神经网络的参数,保证网络训练的同时提高计算效率和节约存储空间。通过在多种现有神经网络架构上的实证,验证了此方法在装备有 GPU 执行引擎的嵌入式设备场景下的优越性。
Apr, 2023
本文介绍了一种名为 FreshNets 的新型神经网络体系结构,它利用学习模型的卷积层和全连接层中的固有冗余性以实现内存和存储消耗的显着节省,同时在压缩性能方面优于现有基线模型。
Jun, 2015
通过评估解码和传递图像的计算成本,本文提出了适用于频域的深度模型的手工制作和数据驱动技术,以降低计算复杂性和参数数量,使其与 RGB 基线模型相似,从而实现计算成本和准确性之间的更好权衡。
Sep, 2023
通过时间卷积探索(TCE)分析,我们揭示了一维卷积神经网络(1D-CNNs)学习行为的洞察力,然后基于此提出了一个调控框架,使得最先进的 1D-CNNs 能够以较少的内存和计算开销获得改进的性能。
Oct, 2023
本文介绍了一种基于频域卷积定理的神经网络用于图像超分辨率,该网络采用 Hartley 变换作为替代傅里叶变换消除复数,具有很高的计算效率,并能适用于在计算机视觉和图像处理等其他领域中通常使用频域表示的问题。实验证明,该网络比文献中其他替代品的速度快 1 到 2 个数量级,性能损失微不足道。
Dec, 2017
本文提出了 FreConv 模块,用于利用数据集中包含的频率信息来增强网络的性能,并在各种任务中实验结果表明,装备了 FreConv 的网络始终优于现有的基线模型。