关于单前向传递不确定性的特征折叠和深度核学习

Feb, 2021

关于单前向传递不确定性的特征折叠和深度核学习

On Feature Collapse and Deep Kernel Learning for Single Forward Pass Uncertainty

Joost van Amersfoort, Lewis Smith, Andrew Jesson, Oscar Key, Yarin Gal

TL;DR通过引入双 Lipschitz 约束，Deep Kernel Learning (DKL) 相对距离的保留提高了不确定性的估计质量。

Abstract

inducing point gaussian process approximations are often considered a gold standard in uncertainty estimation since they retain many of the properties of the exact GP and scale to large datasets. A major drawback

inducing point gaussian process deep kernel learning uncertainty estimation feature extractor bi-lipschitz constraint

发现论文，激发创造

深度核学习的前景和风险

研究深核学习在处理真实数据时可能存在的过拟合问题及其原因，使用 UCI、CIFAR-10 和 UTKFace 三个数据集进行实验验证。发现过度最大边缘似然优化可能会导致严重的过拟合问题，并通过完全贝叶斯方法得到了更好的性能提升。

Feb, 2021

基于网络数据的因果效应估计与不确定性预测

通过不确定性感知的图深核学习（GraphDKL）框架和 Lipschitz 约束来建模预测不确定性，并识别不可靠的估计，提出了一种更加可靠的因果效应估计方法。GraphDKL 是第一个处理图形因果效应估计中正性假设违反的框架。通过广泛的实验，我们证明了在网络数据上进行不确定性感知的因果效应估计中，我们提出的方法的优越性。

Sep, 2023

深度内核学习在控制合成中的潜力

本研究提出了一种基于 Deep Kernel Learning 的框架，用于对具有复杂规范的随机动态系统进行控制合成，采用时态逻辑规范，并使用 Deep Kernel Learning 从数据中学习未知系统，并将其正式抽象为 Interval Markov Decision Process 进行带有正确性保证的控制合成。通过对包括一种 5 维非线性随机系统在内的各种基准测试的验证，证明了该方法的有效性，并展示了与最先进的竞争方法相比，使用 Deep Kernel Learning 进行控制合成的显著优势。

Sep, 2023

小数据学习的概率嵌入深度核方法

通过使用概率神经网络学习概率嵌入深核，我们可以解决高维数据的表示学习和数据效率之间的问题，实验结果表明，我们的方法在监督和半监督学习中均优于现有的高斯过程核方法，并且扩展到其他小数据范例，在 mini-Imagenet 和 CUB 数据集上胜过先前的方法。

Oct, 2019

深高斯过程的随机特征扩展

本文提出使用随机变分推断基于随机特征扩展来训练 Deep Gaussian Process 模型的方法，该方法在多个数据集上均具有可扩展性和良好的性能，实现了量化不确定性的精确估计。

Oct, 2016

深度确定性不确定性：一个简单的基线

本研究提出了一种概念简单的基线模型，即通过残差连接和谱归一化构建特征空间后，利用高斯判别分析对 softmax 神经网络的预测原型进行后处理，从而达到准确预测深度神经网络中的不确定性的目的，这种 Deep Deterministic Uncertainty（DDU），可以替代当前复杂且耗时的不确定性量化方法，且比当前最先进的方法的计算成本更低。

Feb, 2021

浅层和深层高斯过程

该研究提出了一种新的方法，称为 Thin and Deep GP (TDGP)，它通过定义原始输入数据的局部线性变换来保持潜在嵌入的概念，并保留核函数的长度尺度的解释性。与先前的方法不同，TDGP 引入的流形可避免路径学习中的特殊病理问题，并且在学习低维表示方面表现出色。在理论和实验结果中证明了 TDGP 在发现输入数据的低维流形、增加层数时的良好性能以及在标准基准数据集上的表现。

Oct, 2023

具有深度卷积高斯过程的贝叶斯图像分类

本研究提出了一种翻译不敏感的卷积核，并将高斯过程重新制定为多输出高斯过程，以实现深度卷积高斯过程。实验证明，与使用 dropout 的贝叶斯深度学习方法相比，我们的全贝叶斯方法在不确定性和边际似然估计方面的性能有所提高。

Feb, 2019

距离保持机器学习用于不确定性感知加速器电容预测

以深度神经网络和高斯过程逼近技术为基础的模型，通过奇异值分解和谱归一化密集层的比较，用于解决粒子加速器中高压转换调制器电容值预测问题，并显著提高了距离保持和准确度。

Jul, 2023

深度核学习

介绍了可伸缩的深度核，将深度学习架构的结构属性与核方法的非参数灵活性相结合，通过局部核插值、引入点、Kronecker 和 Toeplitz 代数进行转换，使用这些闭式核可以用作标准核的替代品，在表达能力和可伸缩性方面具有优势，通常情况下，学习和推断代价为 $ O (n)$，而预测代价为每个测试点的 $O (1)$。

Nov, 2015