Nov, 2014

如何将核方法扩展到与深度神经网络一样好

PDF
TL;DR通过基于随机投影导出的特征近似核函数，提出了有效地克服核方法计算复杂度的方法，并在图像识别和语音识别等大规模学习问题上成功地比较了核方法和深度神经网络的性能，同时克服了模型调节的困难。
kernel methodslarge-scale learningdeep learningrandom projectionsmodel selection
发现论文，激发创造
  • 语音识别的核逼近方法

    本文研究在语音识别中应用大规模核方法和深度神经网络进行声学建模，并比较它们的性能。我们在四个数据集上进行了实验，使用随机傅里叶特征方法以扩展核方法的规模，在特征选择和监控基于帧的指标等方面提出了两种新技术，并演示了这些方法综合运用可以将核声学模型的性能提高到与深度神经网络相似的水平。

    Jan, 2017

  • 基于内核视角的深度卷积模型近似和学习

    本研究通过核方法的角度对卷积核网络进行了研究，发现其 RKHS 由补丁之间的交互项的加性模型组成，其范数通过汇聚层促进这些项之间的空间相似性，并提供了泛化界，以说明池化和补丁如何提高样本复杂度保证。

    Feb, 2021

  • 通过双随机梯度实现可扩展的核方法

    研究了使用双重随机函数梯度的方法来扩展核方法以及其在优化问题中的应用，其中使用此方法产生的函数在核希尔伯特空间中的表现具有良好的收敛速率，并且已经被证明可以适用于像 MNIST、分子空间和 ImageNet 这样的数据集中。

    Jul, 2014

  • 高性能核机器：隐式分布式优化和随机化

    本文提出了一个基于分布式凸优化和随机化的算法框架和高性能实现，以实现基于核方法的统计模型的海量规模训练，以便有效地利用大数据。

    Sep, 2014

  • 深度核学习

    介绍了可伸缩的深度核，将深度学习架构的结构属性与核方法的非参数灵活性相结合，通过局部核插值、引入点、Kronecker 和 Toeplitz 代数进行转换，使用这些闭式核可以用作标准核的替代品，在表达能力和可伸缩性方面具有优势，通常情况下，学习和推断代价为 $ O (n)$，而预测代价为每个测试点的 $O (1)$。

    Nov, 2015

  • 梯度下降学习的每个模型都近似一个核机器

    我们展示了标准梯度下降算法训练的深度网络在数学上与核机器学习方法相当，这极大地增强了深度网络权重的解释性，从而导致更好的学习算法。

    Nov, 2020

  • 从无穷神经网络迈向深度核方法

    通过对深度无限神经网络进行研究和分析，本文证明了深度无限层网络自然地与高斯过程和核方法相一致，并设计了编码这些网络信息的随机核函数。同时，本文还在不同规模下证明了稳定性结果，从而解释了这些网络在实践应用中具有的经验性成功。

    Aug, 2015

  • A la Carte - 学习快速内核

    通过 Fastfood 基函数扩展导出的一系列快速、灵活、轻度参数化和通用的核学习方法可以学习广泛类别的核，显示出比现有方法更高的准确度、速度和内存消耗。

    Dec, 2014

  • 卷积和池化在核方法中的学习

    本研究探讨了一层卷积、汇集和降采样操作组成的核的 RKHS，并用它来计算高维函数的一般化误差尖锐的渐近值。结果表明，卷积和池化操作在一层卷积核中如何在逼近和泛化能力之间权衡。

    Nov, 2021

  • 高维高斯混合物的分类：核方法失败、神经网络成功

    研究表明：在一些简单的分类任务中，只有少数隐藏神经元的两层神经网络可以超越核学习的性能，这是因为两层神经网络在高维极限下能够实现非常优秀的表现，并且节点超参数数目过多并不能提高其表现。

    Feb, 2021