梯度下降学习的每个模型都近似一个核机器

Nov, 2020

梯度下降学习的每个模型都近似一个核机器

Every Model Learned by Gradient Descent Is Approximately a Kernel Machine

Pedro Domingos

TL;DR我们展示了标准梯度下降算法训练的深度网络在数学上与核机器学习方法相当，这极大地增强了深度网络权重的解释性，从而导致更好的学习算法。

Abstract

deep learning's successes are often attributed to its ability to automatically discover new representations of the data, rather than relying on handcrafted features like other learning methods. We show, however, that deep networks learned by the standard →

deep learning gradient descent kernel machines interpretability learning algorithms

发现论文，激发创造

神经网络可以使用梯度下降学习表示

本研究揭示了神经网络在训练表示学习和迁移学习方面的优势，并通过学习与目标任务相关的表示来说明为什么在实践中神经网络明显优于与之相关的核方法。

Jun, 2022

如何将核方法扩展到与深度神经网络一样好

通过基于随机投影导出的特征近似核函数，提出了有效地克服核方法计算复杂度的方法，并在图像识别和语音识别等大规模学习问题上成功地比较了核方法和深度神经网络的性能，同时克服了模型调节的困难。

Nov, 2014

ReLU 网络在核区域中的深浅等效性

本文研究深度全连接网络从可近似角度看与其两层浅神经网络等价，表明其泛化能力在某些方面受限于核函数框架，提出一种基于核函数的特征值分析方法。

Sep, 2020

自适应深度核学习

该研究基于深度神经网络学习参数化的内核算子，在 few-shot 回归任务中学习内核家族，从而使算法能够识别每个任务的适当内核，并通过实际应用于药物发现领域的 few-shot 回归任务与现有算法进行比较，表明其在复杂任务分布和状态下的性能优越。

May, 2019

基于内核视角的深度卷积模型近似和学习

本研究通过核方法的角度对卷积核网络进行了研究，发现其 RKHS 由补丁之间的交互项的加性模型组成，其范数通过汇聚层促进这些项之间的空间相似性，并提供了泛化界，以说明池化和补丁如何提高样本复杂度保证。

Feb, 2021

神经网络的近似和梯度下降训练

通过研究使用神经切向核（NTK）优化方法来训练的网络，本文对使用梯度下降训练的网络建立了类似的结果，以扩展逼近结果的平滑性，从而显示了这两种理论的兼容性。

May, 2024

了解深度学习需要了解核学习

研究表明深度学习和浅层核方法在过拟合问题上表现相似，而不是泛化性能高的唯一因素，因此需要更深入地研究浅层核方法，以更好地理解深度学习。

Feb, 2018

有限分类模型的精确核等价性

我们通过从梯度下降训练的任何有限大小参数化分类模型中推导出的首个完全表示，探索了神经网络和核方法之间的等价性，并将我们的精确表示与著名的神经切向核 (NTK) 进行比较，并讨论相对于 NTK 和其他非精确路径核公式的近似误差。我们通过实验证明，该核能够以机器精度计算实现，并利用该精确核展示我们的理论贡献能够为神经网络所作的预测提供有用的洞察，特别是它们的泛化方式。

Aug, 2023

来自数据的核学习到深渊的核流

通过基于先前指定的内核，采用数值逼近方法进行核函数选择 / 构造，从而探索构造非参数深度内核的解决方案，通过减半插值点的数量（使用与内核相关联的本征 RKHS 范数进行度量）而不会显着损失精度的简单前提来进行核函数选择。

Aug, 2018

任意深度的宽神经网络在梯度下降下演化为线性模型

本文研究神经网络的学习和泛化性能，发现对于宽神经网络，学习动态变得简单，并且在无限宽度的极限下，它们由网络初始参数的一阶泰勒展开得到的线性模型控制。同时，通过在广义上拟合高斯过程的理论，揭示了神经网络可能表现出高斯过程的特性。

Feb, 2019