Apr, 2019

有限训练样本下的谐波网络

PDF
TL;DR本研究表明，使用离散余弦变换（DCT）滤波器的谐波块，可在有限的训练数据情况下与使用小波作为预设滤波器的散射网络相比，有效降低训练参数数量和过度拟合，从而提高卷积神经网络（CNN）的性能。
convolutional neural networkssupervised learningdct filterslimited training dataharmonic networks
发现论文，激发创造
  • 谐波网络：将频谱信息整合到 CNN 中

    本文提出谐波块代替传统的卷积层，通过学习离散余弦变换定义的谱滤波器的最优组合来产生特征，将谐波块引入现有卷积神经网络基线模型，可以在小的 NORB，CIFAR10 和 CIFAR100 数据集的分类任务中取得与或更好的性能。

    Dec, 2018

  • 压缩卷积神经网络

    本文介绍了一种名为 FreshNets 的新型神经网络体系结构，它利用学习模型的卷积层和全连接层中的固有冗余性以实现内存和存储消耗的显着节省，同时在压缩性能方面优于现有基线模型。

    Jun, 2015

  • 卷积神经网络的带限训练和推断

    本文研究卷积神经网络的频率约束技术，实验结果显示，该技术可以控制资源使用（GPU 和内存），同时不影响模型的准确率，且无需修改现有的算法或神经网络架构。

    Nov, 2019

  • 快速局部谱滤波的图卷积神经网络

    该研究将卷积神经网络推广到高维不规则图像中，通过谱图理论提出了一种卷积滤波器设计方法，在保持线性和常数学习复杂度的同时，实现了对任意图结构的卷积作用，成功在图像识别领域实现了局部、平稳、组合特征的学习。

    Jun, 2016

  • 具有图卷积神经网络的稳健空间滤波

    本文介绍了一种基于图卷积神经网络的新型神经学习框架并探讨了其在处理结构化和非结构化分类问题方面的应用，证明该方法在文档和分子分类问题方面具有国际领先水平。

    Mar, 2017

  • 使用离散余弦变换的深度卷积神经网络进行失真鲁棒图像分类

    本文提出一种基于离散余弦变换的 DCT-Net 模块，可用于改善卷积神经网络 (CNN) 在面对包括高噪音、模糊等多种苟且不净的图像质量下的分类表现。通过丢弃高频信息，DCT-Net 能够在训练和测试过程中自适应地适应各种扭曲情况，仅需盲目一次训练即可用于未知的图像失真情况，结果表明 DCT-Net 在 CIFAR-10/100 和 ImageNet 测试数据集上具有更好的分类准确性。

    Nov, 2018

  • 基于 SincNet 的可解释卷积滤波器

    本研究提出了一种新的卷积神经网络模型 ——SincNet，该模型可用于直接处理从原始波形中提取的语音，通过使用参数化 sinc 函数，鼓励第一层学习更有意义的滤波器，学习带通滤波器的低高截止频率可以从数据中直接进行，该模型比标准 CNN 模型具有更快的收敛速度，更好的性能和更好的可解释性，这在说话人识别和语音识别方面得到了很好的实验验证。

    Nov, 2018

  • 图上的谱网络和局部连接网络

    本文探讨了如何将卷积神经网络推广到更广泛的定义域上。作者提出了两种构造方法，分别基于分层聚类和图拉普拉斯谱。结果表明，在低维图形上，可以实现独立于输入尺寸的卷积层学习，从而实现高效的深度网络结构。

    Dec, 2013

  • DCFNet：具有分解卷积核的深度神经网络

    本文提出了基于截断展开的分解卷积滤波器（DCFNet）神经网络，使用预设基进行卷积滤波器的分解，通过扩展系数的学习来减少可以训练的参数和计算量，并通过基截断来加强滤波器的规律性。实验证明，DCFNet 可以在减少模型参数的同时，保持图像分类任务的准确性，尤其是在使用 Fourier-Bessel 基时效果显著，理论分析表明，DCFNet 对于输入的变化有较好的表示稳定性，并且经验观察与理论分析是一致的。

    Feb, 2018

  • 可学习的小波神经网络用于宇宙学推断

    应用可训练小波作为过滤器的可学习散射变换模型在宇宙学信息推断和消除星际物理效应方面表现优于传统卷积神经网络，特别在训练数据有限的情况下，且具有高度解释性。

    Jul, 2023