Jun, 2015

卷积神经网络的频谱表示

PDF
TL;DR本研究旨在通过应用离散傅立叶变换和频谱表示提供有效的计算卷积方法，并且展示频谱域应用于卷积神经网络设计的创新，如频谱池化、随机修改分辨率的新形式随机正则化、卷积过滤器的复系数频谱参数化等。在不使用任何 dropout 或 max-pooling 的情况下，这些方法在分类和逼近任务中取得了有竞争力的结果，并且观察到这些方法可以显著加快训练的收敛速度。
发现论文，激发创造
  • 快速局部谱滤波的图卷积神经网络

    该研究将卷积神经网络推广到高维不规则图像中，通过谱图理论提出了一种卷积滤波器设计方法，在保持线性和常数学习复杂度的同时，实现了对任意图结构的卷积作用，成功在图像识别领域实现了局部、平稳、组合特征的学习。

    Jun, 2016

  • 谱 Dropout 正则化深度神经网络

    提出了一种称为 `Spectral Dropout' 的新方法，它可以通过固定基函数的正交变换的形式将其转化为正则卷积神经网络 (CNN) 的权重层，通过消除神经网络激活的弱且嘈杂的傅里叶系数来预防过拟合，相比当前正则化方法具有显著提高网络收敛速度以及神经元精简率的效果，并且可以与其他正则化方法共同使用。

    Nov, 2017

  • 图上的谱网络和局部连接网络

    本文探讨了如何将卷积神经网络推广到更广泛的定义域上。作者提出了两种构造方法，分别基于分层聚类和图拉普拉斯谱。结果表明，在低维图形上，可以实现独立于输入尺寸的卷积层学习，从而实现高效的深度网络结构。

    Dec, 2013

  • 使用卷积神经网络进行处理的音频光谱图表示

    本文综述了神经网络在音频生成中应用的数据表示方法，着重分析了使用频谱图进行音频风格迁移的问题和挑战。

    Jun, 2017

  • 小波卷积神经网络

    我们提出了一种新的 CNN 架构，Wavelet CNN 结合多分辨率分析和 CNNs 成为一个模型，在图像分类和图像注释等任务中，它比传统 CNN 具有更好的性能与较少的参数。

    May, 2018

  • 频域学习

    通过在频域进行学习和频道选择，我们提出了减少冗余和显著信息以提高图像分类精度的学习方法，得出使用该方法的 ResNet-50、MobileNetV2 和 Mask R-CNN 在图像分类和实例分割上表现更好的结论。

    Feb, 2020

  • 基于图的卷积神经网络

    本文研究基于图信号处理和卷积定理的图卷积神经网络方法，利用图傅里叶变换和谱乘法构建卷积和池化层，使用代数多重网格方法降低图分辨率，以深度学习方式解决机器学习中的空间不规则问题。实验结果表明，该方法在手写数字分类问题上的成绩优于传统 CNN 方法。

    Sep, 2016

  • 谐波网络：将频谱信息整合到 CNN 中

    本文提出谐波块代替传统的卷积层，通过学习离散余弦变换定义的谱滤波器的最优组合来产生特征，将谐波块引入现有卷积神经网络基线模型，可以在小的 NORB，CIFAR10 和 CIFAR100 数据集的分类任务中取得与或更好的性能。

    Dec, 2018

  • HoloNets：光谱卷积扩展到有向图

    在图学习领域中，传统智慧认为谱卷积网络只能在无向图上部署：只有在这种情况下，才能保证存在一个明确定义的图傅里叶变换，以便在空间域和频谱域之间进行信息翻译。然而，我们通过使用复分析和谱理论中的某些高级工具，证明了这种对图傅里叶变换的依赖是多余的，并将谱卷积扩展到了有向图上。我们提供了对新开发的滤波器的频率响应解释，研究了用于表示滤波器的基函数的影响，并讨论了网络所基于的特征算子之间的相互作用。为了彻底测试所开发的理论，我们在真实的环境中进行了实验，展示了有向谱卷积网络在许多数据集上对异质节点分类提供了最新的最优结果，并且与基准线相比，可以在不同拓扑扰动的分辨率尺度下保持稳定。

    Oct, 2023

  • 频率规则化：约束卷积神经网络的信息冗余

    本文提出一种名为频率正则化的方法，在频域约束网络参数的非零元素，进而可以极大程度上压缩神经网络的参数，保证网络训练的同时提高计算效率和节约存储空间。通过在多种现有神经网络架构上的实证，验证了此方法在装备有 GPU 执行引擎的嵌入式设备场景下的优越性。

    Apr, 2023