高斯过程的元学习均值函数

Jan, 2019

Meta-Learning Mean Functions for Gaussian Processes

Vincent Fortuin, Heiko Strathmann, Gunnar Rätsch

TL;DR在短缺数据情况下，为贝叶斯机器学习模型提供适当的先验知识是主要挑战。最近元学习的进展提供了从相关任务中获得这些先验知识的强大方法。本文探索了高斯过程先验的平均函数元学习，提供了分析和经验证据表明均值函数的学习对于元学习是有用的，讨论了过拟合的风险，并与其他元学习方法进行了联系，如模型无关元学习和函数 PCA。

Abstract

When fitting bayesian machine learning models on scarce data, the main challenge is to obtain suitable prior knowledge and encode it into the model. Recent advances in meta-learning offer powerful methods for ext

bayesian machine learning meta-learning gaussian process models mean function learning overfitting

发现论文，激发创造

高效可拓展的高斯过程元学习

在这篇论文中，我们开发了一种可扩展的基于高斯过程的模块化元学习模型 ScaML-GP，其中的核心贡献是一个经过精心设计的多任务核函数，它实现了层次化训练和任务的可扩展性。通过在元数据上对 ScaML-GP 进行条件化，我们揭示了其模块化特性，得到一个结合了元任务高斯过程后验的测试任务先验。在合成和真实世界的元学习实验中，我们证明了 ScaML-GP 可以在少量和大量元任务中高效学习。

Dec, 2023

高斯过程的信息论元学习

利用相互信息和信息瓶颈的概念对元学习进行了建模，提出了一种通用的可行的框架，用于学习任务描述的随机表示或编码，该表示对于预测验证集具有高度的信息量，并开发了一种基于记忆的算法，用于少样本分类问题的研究。

Sep, 2020

用于高效在线贝叶斯回归的元学习先验

ALPaCA 是一种使用神经网络的元学习算法，通过在数据集中学习一个特定领域的有限维特征编码和相关权重的先验，利用后验预测密度进行贝叶斯线性回归，以提高回归任务在机器人领域的可伸缩性和数据效率。

Jul, 2018

带潜在变量高斯过程的元强化学习

利用层级潜变量模型，自动推断任务之间的关系并应用于模型强化学习中，从而实现在小规模数据集上的元学习，有效提高数据利用率，解决新任务的平均交互时间缩短高达 60%。

Mar, 2018

元学习用于标定深度内核高斯过程的回归不确定性估计

通过最小化测试期望标定误差来从各种任务的数据中元学习如何校准不确定性，并在未知任务中使用这些知识，以改善回归不确定性估计性能。通过将高斯过程和高斯混合模型集成到神经网络模型中，我们可以以端到端的方式元学习模型参数，从而在几次训练的情况下提高不确定性估计性能并保持高回归性能。

Dec, 2023

贝叶斯回归和分类高斯过程模型的蒙特卡罗实现

本文提出了使用高斯过程模型来进行非参数回归，分类等任务，通过使用马尔科夫链方法对高斯过程的协方差函数的超参数进行采样，可以发现数据的高级特性并实现预测响应所需输入的相关性。

Jan, 1997

高斯过程均值在误规定条件和平稳性下的收敛保证

本文研究高斯过程在模型不精确的情况下对函数均值的影响，并阐述了如何通过实验设计和核函数参数的选择来减少模型误差。

Jan, 2020

深度神经网络的元学习损失函数

探索利用元学习概念来改善性能，尤其是通过损失函数这个常常被忽视的组成部分。损失函数是学习系统的重要组成部分，它代表了主要的学习目标，在系统成功优化该目标的能力上进行了量化。

Jun, 2024

贝叶斯元先学习：基于经验贝叶斯的方法

本文提出了一种层次经验贝叶斯方法，以解决实际问题中面临的挑战，即缺乏信息先验和无法控制参数学习速率的问题。该方法从数据本身学习经验元先验，并将它们用于解耦 GLM 中的一阶和二阶特征的学习速率。作者将其应用于标准监督学习优化问题以及在线组合优化问题中，在实验中表现出了显著的改进。

Feb, 2020

估计超参数的高斯过程回归的收敛性及在贝叶斯逆问题中的应用

研究高斯过程回归中的收敛性，着重于层次高斯过程回归，在其中先验未知的高斯过程仿真器的均值和协方差结构中出现的超参数会从数据中学习，并与后验均值和协方差一起计算。提供收敛性分析，并通过连续函数的任何情况下的收敛性说明从数据中学习超参数不会影响高斯过程回归的收敛性，并且在广泛的场景中都得到保证。主要目标是利用高斯过程回归近似贝叶斯反问题的数据似然性，提供了在此背景下引入的误差界限。

Aug, 2019