深度少样本元学习的层次贝叶斯模型

Jun, 2023

深度少样本元学习的层次贝叶斯模型

A Hierarchical Bayesian Model for Deep Few-Shot Meta Learning

Minyoung Kim, Timothy Hospedales

TL;DR我们提出了一种新的层次贝叶斯模型，可用于针对大量（可能是无限）任务 / 情节进行学习，适合 few-shot 元学习问题。

Abstract

We propose a novel hierarchical bayesian model for learning with a large (possibly infinite) number of tasks/episodes, which suits well the few-shot meta learning problem. We consider episode-wise random variables

hierarchical bayesian model few-shot meta learning random variables normal-inverse-wishart model episodic optimization

发现论文，激发创造

变分推断在模型无关元学习中的不确定性

本文提出了一种新的、严谨的贝叶斯元学习算法，用于学习少样本学习的模型参数先验的概率分布。该算法采用基于梯度的变分推断来推断模型参数的后验分布。我们展示了使用我们提出的元学习算法训练的模型具有良好的校准和准确性，在两个少样本分类基准测试（Omniglot 和 Mini-ImageNet）上取得了最新的校准和分类结果，并在多模式任务分布回归中获得了有竞争力的结果。

Jul, 2019

贝叶斯模型无关元学习

本文提出一种新的贝叶斯模型无关元学习方法，结合可伸缩的基于梯度的元学习和非参数变分推断，通过一个有原则的概率框架去学习复杂的不确定性结构，并且在 meta-update 时使用鲁棒的贝叶斯 meta-update 机制防止过拟合。此方法在各种任务中展现了准确性和鲁棒性。

Jun, 2018

概率模型无关元学习

该论文提出了一种概率元学习算法，能够从模型分布中采样模型，并且在模型适应新任务时注入噪声来减少任务模糊性，实验结果表明，该方法可以在模糊的少样本学习问题中采样出可信的分类器和回归器，并且阐述了如何利用对模糊性的推理来解决活跃学习问题。

Jun, 2018

基于层次贝叶斯的梯度元学习重建

本文探讨了如何使用 Bayesian 模型和梯度下降进行 meta-learning，通过 MAML 算法应用到复杂的函数逼近器上，进一步提升了算法的性能，并利用近似推断和曲率估计技术提出了改进措施。

Jan, 2018

基于超网络的贝叶斯 MAML 方法

本文提出了一种名为 BayesianHyperShot 的新方法，它是对 Bayesian MAML 的创新性推广。将贝叶斯原则与超网络结合使用，可更好地收敛于经典学习评估，并通过贝叶斯方法提高了适用性，并使用超网络实现高灵活性的任务自适应。

Oct, 2022

基于经验贝叶斯的合成梯度传递元学习

通过元学习方法在转导式环境中学习多个任务，通过使用未标记的查询集合生成更强大的模型来解决多任务学习中的问题，并提出了一种合成梯度网络和初始化网络组成的新型变分推理方法，优于以前的方法，并进一步探索了合成梯度的潜力。

Apr, 2020

从过去学习：基于贝叶斯图建模的持续元学习

提出了一种新颖的连续元学习方法，使用贝叶斯图神经网络 (CML-BGNN) 将元学习数学公式化为一系列任务的连续学习，在图形上保留任务内部和任务之间的相关性，利用 Amortized inference networks 解决了图形初始化的拓扑不确定性，提高了 minImageNet 5-way 1-shot 分类任务的分类性能。

Nov, 2019

后验元重放在连续学习中的应用

该研究针对不具有独立同分布观测的连续学习提出了贝叶斯学习的替代方案，即基于概率任务条件化超网络的后验元回放方法，其在标准基准测试中比现有的贝叶斯学习方法表现更好，发现任务推断是其主要限制因素，这一限制有多个原因，与考虑的序列设置无关，为连续学习的进一步发展开辟了新的道路。

Mar, 2021

分层自适应遗忘变分滤波器

该论文介绍了一种基于层级贝叶斯算法的机器学习和统计问题的解决方法，并讨论了这种算法在 RL 等方面的应用。

May, 2018

元模调制：学习变分特征层次结构，用于更少任务的少样本学习

本文提出了一种名为 MetaModulation 的方法，在元训练过程中使用神经网络调制批量归一化参数，以提高元训练任务的密度，并通过改变不同层面的参数来增加任务的多样性，同时提出了利用变分 MetaModulation 学习变分特征层级的方法，能够考虑任务不确定性和生成更多样的任务，结果表明 MetaModulation 和其变分变体在四个 few-task meta-learning 基准测试中都优于现有技术。

May, 2023