Jul, 2017

卷积神经网络中卷积算子的泛化

PDF
TL;DR本文提出两类代理函数，用于卷积算子内积运算的通用化，第一种是正定核函数，第二种是基于距离函数定义的相似性测量。通过在 MNIST 数据集上的实验表明，基于加权 L1/L2 距离的广义 CNN 可以实现普通 CNN 的性能，证明了卷积神经网络通用化的可行性。
convolutional neural networksinner product operationpositive definite kernel functionssimilarity measuresneocognitron
发现论文，激发创造
  • 将卷积算子进行泛化，以扩展卷积神经网络到不规则域

    本论文提出一种使用权重共享和基于图的运算符将 CNN 推广到不规则领域的新方法，并进行实验展示，表明对于扭曲的图像，这种模型比感知器模型具有更好的性能。

    Jun, 2016

  • 卷积和池化在核方法中的学习

    本研究探讨了一层卷积、汇集和降采样操作组成的核的 RKHS，并用它来计算高维函数的一般化误差尖锐的渐近值。结果表明，卷积和池化操作在一层卷积核中如何在逼近和泛化能力之间权衡。

    Nov, 2021

  • 基于 CNN 学习的非线性卷积滤波器

    研究表明，在计算模型的视觉皮层中开发基于 Volterra 核的二阶卷积方法，可以增加卷积层的表达能力，在 CIFAR-10 和 CIFAR-100 数据集上，使用线性和非线性滤波器相结合的卷积网络可以超越使用相同体系结构的标准线性滤波器的网络的性能，取得与最先进水平相当的结果。

    Aug, 2017

  • 深度卷积网络作为浅层高斯过程

    通过适当的神经网络权重和偏差的先验，证明（残差）卷积神经网络的输出在无限数量的卷积滤波器的极限下是高斯过程（GP），扩展了密集网络的类似结果。可以精确地计算 CNN 的等效核，不同于 “深度核” 只有少量的参数：只有原始 CNN 的超参数。与每层只有一个滤波器的原始 CNN 相比，对成对图像评估内核的成本类似于一次正向传递，这个内核等效于 32 层 ResNet，在 MNIST 上获得了 0.84％的分类错误，是具有可比数量的参数的 GPs 的新记录。

    Aug, 2018

  • 核图卷积神经网络

    本文旨在利用图形核函数解决图形数据处理问题，通过选取合适的滤波器、池化层以及前馈神经网络进行特征学习，最终在十个基准数据集的七个中达到了优异的表现。

    Oct, 2017

  • Kervolution 神经网络

    本文介绍了一种新的 kervolution 运算，该方法可以在非线性空间内运行，扩展了卷积神经网络的模型容量，捕捉更高阶的特征交互，并通过基于补丁的核函数实现，而不引入额外参数。大量实验表明， kervolutional neural networks (KNN) 比基线卷积神经网络具有更高的准确性和更快的收敛速度。

    Apr, 2019

  • 卷积核网络

    通过用一种新型卷积神经网络（CNN）来编码不变性的再生核，本文解决了视觉识别中旨在设计对特定变换具有不变性的图像表示的问题， 其中与传统方法不同的是，我们的网络学习在训练数据上逼近核特征映射，从而带来了多个优势，包括获得具有不变性的简单神经网络体系结构，实现与更复杂 CNNs 相似的准确度，以及抵抗过拟合等。

    Jun, 2014

  • 学习使用卷积神经网络比较图像片段

    本文介绍了如何用卷积神经网络 (CNN) 从图像数据中直接学习通用的相似性函数，以比较图像补丁。我们的实验表明，这种方法在多个计算机视觉问题和基准数据集上都取得了极大的成效。

    Apr, 2015

  • 度量卷积：自适应卷积的统一理论

    使用隐式度量的球体来采样，提出了可解释的具有几何正则化的几何卷积方法，可以替换现有的卷积操作并在标准去噪和分类任务中表现出竞争性能。

    Jun, 2024

  • 基于内核视角的深度卷积模型近似和学习

    本研究通过核方法的角度对卷积核网络进行了研究，发现其 RKHS 由补丁之间的交互项的加性模型组成，其范数通过汇聚层促进这些项之间的空间相似性，并提供了泛化界，以说明池化和补丁如何提高样本复杂度保证。

    Feb, 2021