二阶卷积神经网络
该论文提出了一种基于高级特征的协方差汇集方法,即 Matrix Power Normalized Covariance (MPN-COV),并在 ImageNet 上的测试中表现出了显著的成果,特别是在 AlexNet,VGG-M 和 VGG-16 的情况下,MPN-COV 方法可以使性能提高超过 3%,并且与 ResNet-152 相媲美。
Mar, 2017
研究表明,在计算模型的视觉皮层中开发基于 Volterra 核的二阶卷积方法,可以增加卷积层的表达能力,在 CIFAR-10 和 CIFAR-100 数据集上,使用线性和非线性滤波器相结合的卷积网络可以超越使用相同体系结构的标准线性滤波器的网络的性能,取得与最先进水平相当的结果。
Aug, 2017
本文针对在深度卷积网络较早的层次有效引入二阶表示进行非线性建模的问题,提出了一种新的网络模型,并利用全局二阶池化 (GSoP) 对低到高层次进行二阶表示引入,使图像信息得到全面利用,实验结果表明,在 ImageNet-1K 数据集上,该网络模型优于同类网络,具有最先进的结果。
Nov, 2018
通过提出一种新的方法来实现低内存和计算成本的高阶 Volterra 滤波,在 DCNN 训练的前向和反向传播过程中具有计算优势,并基于该方法提出了一种名为 Higher-order Local Attention Block(HLA)的新型注意力模块,并在 CIFAR-100 数据集上进行了测试,显示了在分类任务中的有竞争力的改进。
Apr, 2024
本文研究了在文本分类中应用卷积神经网络,以利用文本数据的 1D 结构(即单词顺序)进行精确预测,并提出了一种简单但新颖的变异,即在卷积层中使用词袋转换。实验证明该方法与现有技术相比具有更高的准确性。
Dec, 2014
介绍一种凸化卷积神经网络方法,利用再现核希尔伯特空间将卷积滤波器表示为向量,并将 CNN 参数表示为低秩矩阵,进而通过凸优化求解 CNN,其泛化误差与最优 CNN 一致,CCNNs 通过逐层训练使其在性能上与基线方法相当。
Sep, 2016
本文提出两类代理函数,用于卷积算子内积运算的通用化,第一种是正定核函数,第二种是基于距离函数定义的相似性测量。通过在 MNIST 数据集上的实验表明,基于加权 L1/L2 距离的广义 CNN 可以实现普通 CNN 的性能,证明了卷积神经网络通用化的可行性。
Jul, 2017
本文介绍了一种新的 kervolution 运算,该方法可以在非线性空间内运行,扩展了卷积神经网络的模型容量,捕捉更高阶的特征交互,并通过基于补丁的核函数实现,而不引入额外参数。大量实验表明, kervolutional neural networks (KNN) 比基线卷积神经网络具有更高的准确性和更快的收敛速度。
Apr, 2019
本文提出了一种通过操作相关数字分布的统计卷积神经网络(SCNN)来处理多帧相关图像的方法,实现了显著的速度提升,即使在未经优化的情况下,仍然能实现高达 178% 的加速。
Mar, 2019