通过隐含复合核将先验知识纳入神经网络

May, 2022

通过隐含复合核将先验知识纳入神经网络

Incorporating Prior Knowledge into Neural Networks through an Implicit Composite Kernel

Ziyang Jiang, Tongshu Zheng, Yiling Liu, David Carlson

TL;DR本文提出了一种内隐复合核（ICK）框架，该框架融合了深度学习和高斯过程（GP）的建模能力，通过结合由神经网络隐式定义的核和第二个选定的核函数来建模已知特性（如季节性）。采用样本优化方法近似全 GP 后验分布，ICK 在合成和真实数据集上展现了卓越的性能和灵活性。

Abstract

It is challenging to guide neural network (NN) learning with prior knowledge. In contrast, many known properties, such as spatial smoothness or seasonality, are straightforward to model by choosing an appropriate kernel in a Gaussian process (GP). Many deep learning applications could

neural networks gaussian process composite kernel seasonality nystrom approximation

发现论文，激发创造

高斯过程可微分复合核学习

本文介绍了神经核网络 (NKN) 的概念，它是一种可以逼近自适应统计学家所使用的复合核结构的灵活的内核族。在进行实验验证的过程中，证明了 NKN 具有发现和推断潜在结构的能力，并且可以用于进行时间序列和纹理外推以及贝叶斯优化任务。

Jun, 2018

基于图神经网络的高斯过程半监督学习核函数

本文介绍了如何将图神经网络中的归纳偏置引入高斯过程中，以优化其在图结构数据上的预测表现，并得出了一些有趣的成员和提出了一种适用于大规模数据后验推断的协方差矩阵的近似方法，通过这些基于图的协方差矩阵，与相应的图神经网络相比，具有相似的分类和回归性能以及计算时间上的优势。

Feb, 2023

贝叶斯神经网络中的表达优先权：核组合和周期函数

本文通过某些基础核的组合提供了一种创造表现力先验的高斯过程模型的简单灵活方法，并推导了镜像这些核组合的 BNN 架构，进一步说明了 BNN 可以产生周期核，这为设计包含函数先验知识的 BNN 提供了原则性的方法，文中的实验展示了这些理论的实际价值在监督学习和强化学习 setting 上。

May, 2019

隐式核学习

本文旨在通过深度神经网络隐式生成模型来学习核函数谱分布，从而提高数据驱动的方法用于生成式对抗网络和监督学习等多种应用，通过 IKL 的应用，本文成功地在图像和文本生成测试中优于传统核函数，同时在有效取得超越现有先进核学习算法的成果

Feb, 2019

小数据学习的概率嵌入深度核方法

通过使用概率神经网络学习概率嵌入深核，我们可以解决高维数据的表示学习和数据效率之间的问题，实验结果表明，我们的方法在监督和半监督学习中均优于现有的高斯过程核方法，并且扩展到其他小数据范例，在 mini-Imagenet 和 CUB 数据集上胜过先前的方法。

Oct, 2019

近似推断将深度网络转化为高斯过程

本文研究神经网络和高斯过程之间的关系，证明了贝叶斯神经网络的高斯后验近似等同于高斯过程的后验。在训练神经网络时，利用高斯过程的边缘似然函数来调整神经网络的超参数，得到的核函数是神经切向核。我们的工作旨在促进进一步将神经网络和高斯过程在实际应用中相结合的研究。

Jun, 2019

基于内核视角的深度卷积模型近似和学习

本研究通过核方法的角度对卷积核网络进行了研究，发现其 RKHS 由补丁之间的交互项的加性模型组成，其范数通过汇聚层促进这些项之间的空间相似性，并提供了泛化界，以说明池化和补丁如何提高样本复杂度保证。

Feb, 2021

卷积核网络

通过用一种新型卷积神经网络（CNN）来编码不变性的再生核，本文解决了视觉识别中旨在设计对特定变换具有不变性的图像表示的问题，其中与传统方法不同的是，我们的网络学习在训练数据上逼近核特征映射，从而带来了多个优势，包括获得具有不变性的简单神经网络体系结构，实现与更复杂 CNNs 相似的准确度，以及抵抗过拟合等。

Jun, 2014

神经网络学习的统一核心

该论文介绍了一种名为 Unified Neural Kernel (UNK) 的方法，用于描述神经网络的学习动态以及参数初始化。通过渐进学习步骤，UNK 核的行为呈现类似于 Neural Tangent Kernel (NTK)，而随着学习步骤接近无穷大，其收敛于 Neural Network Gaussian Process (NNGP)。此外，论文还对 UNK 核的均匀紧密性和学习收敛性进行了理论表征，并通过实验证明了该方法的有效性。

Mar, 2024

卷积和池化在核方法中的学习

本研究探讨了一层卷积、汇集和降采样操作组成的核的 RKHS，并用它来计算高维函数的一般化误差尖锐的渐近值。结果表明，卷积和池化操作在一层卷积核中如何在逼近和泛化能力之间权衡。

Nov, 2021