ICLRFeb, 2022

高斯混合卷积网络

PDF
TL;DR提出了一种基于多维高斯混合分析卷积的深度学习方法，该方法通过高斯混合卷积核和数据产生多个特征通道，使用高斯混合拟合来代替传统的转移函数（如 ReLU），并在适当减少高斯混合成分数量的情况下进行汇集，基于该架构的网络在封装 MNIST 和 ModelNet 数据集的高斯混合物上达到了竞争性的准确性。
deep learninggaussian mixturesconvolutional networkspooling layercompetitive accuracy
发现论文，激发创造
  • 使用 Dirichlet 过程高斯混合模型分析学习卷积神经网络特征

    本文介绍了一种利用狄利克雷过程高斯混合模型对卷积神经网络内部表示进行聚类可视化的技术，并探讨了该方法在转移学习中的应用。

    Feb, 2017

  • 卷积高斯过程

    介绍了在 Gaussian 过程中引入卷积结构的方法，并构建了适用于卷积核的跨域诱导点逼近，利用较快但准确的后验推理获得卷积核的泛化利益，应用于多项研究中，其中通过边缘似然可进一步提高性能。

    Sep, 2017

  • 概率数字卷积神经网络

    我们提出了一种基于概率数值方法的卷积神经网络，使用高斯过程表示特征，并采用偏微分方程定义卷积层，实现了旋转等变卷积，实验结果显示我们的方法可将误差降低 3 倍，并在医学时间序列数据集 PhysioNet2012 上展现了出色的性能。

    Oct, 2020

  • 深度卷积网络作为浅层高斯过程

    通过适当的神经网络权重和偏差的先验，证明（残差）卷积神经网络的输出在无限数量的卷积滤波器的极限下是高斯过程（GP），扩展了密集网络的类似结果。可以精确地计算 CNN 的等效核，不同于 “深度核” 只有少量的参数：只有原始 CNN 的超参数。与每层只有一个滤波器的原始 CNN 相比，对成对图像评估内核的成本类似于一次正向传递，这个内核等效于 32 层 ResNet，在 MNIST 上获得了 0.84％的分类错误，是具有可比数量的参数的 GPs 的新记录。

    Aug, 2018

  • 神经网络收敛于高斯混合分布

    通过实验证明，在一些条件成立的情况下，随着最后一个隐藏层的宽度越来越大，完全连接的前馈深度随机神经网络收敛到了一个高斯混合分布。此外，对于一个支持我们结果的简单模型，我们还给出了详细的收敛描述，即，最后一个隐藏层的增长让分布更接近高斯混合分布，其余层逐渐使高斯混合分布更接近正态分布。

    Apr, 2022

  • CALM：卷积作为本地混合

    本文研究了卷积层的特征映射与图像建模中一种特殊高斯混合未归一化的对数后验的等效性，并拓展了模型以推动多样化特征，并提出相应的 EM 算法来学习该模型。使用该方法学习卷积权重是高效的，可以保证收敛，并且不需要监督信息。

    Jan, 2024

  • 深度卷积高斯过程

    本论文提出了基于卷积结构的深度高斯过程模型，是一种基于贝叶斯原则的图像分类方法，能够有效的利用局部特征，改善了传统的高斯过程方法在 MNIST 和 CIFAR-10 数据集上的分类准确性，尤其是 CIFAR-10 数据集上准确率提高了超过 10 个百分点。

    Oct, 2018

  • 学习结构高斯模型来近似深度集成

    该论文提出使用稀疏结构多元高斯来逼近概率集成模型的输出，同时通过卷积神经网络实现，该方法显式地捕获了预测的不确定性和结构相关性，并且在单个网络中可以进行空间相关采样和测试时的任意空间限制，并在单目深度估计上得到可比较的数量表现。

    Mar, 2022

  • 深度卷积神经网络特征提取的数学理论

    本文提出了一种基于波浪变换、线性非线性映射、平移不变性和形变稳定性的特征提取器，可以适用于不同的网络层，并且在网络深度增加时特征越来越具有平移不变性；同时，本文还建立了对带限函数、卡通函数和 Lipschitz 函数等信号类应用的变形敏感度边界。

    Dec, 2015

  • 图卷积高斯过程

    提出了一种新的贝叶斯非参数方法，以在非欧几里德域上学习平移不变的关系。 该方法可应用于机器学习问题，其中输入观测值是具有普通图形域的函数。 并将图卷积高斯过程应用于图像和三角形网格等领域，表明了其多功能性和有效性，与现有方法相比具有优势，尽管是相对简单的模型。

    May, 2019