大规模非静态任务分布下的低遗忘元学习

ECCVSep, 2022

大规模非静态任务分布下的低遗忘元学习

Meta-Learning with Less Forgetting on Large-Scale Non-Stationary Task Distributions

Zhenyi Wang, Li Shen, Le Fang, Qiuling Suo, Donglin Zhan...

TL;DR本文提出了一种半监督元学习方法（SETS）来解决不断演化的任务分布和大量的未标记数据存在时的元学习问题，并通过引入相互信息正则化来稳健地利用未标记外部分布数据以及采用最优传输正则化来在特征空间记住已学习的知识。在大规模非稳态半监督任务分布数据集上的测试中，实验证明了本文方法相对于相关强基线具有更好的鲁棒性。

Abstract

The paradigm of machine intelligence moves from purely supervised learning to a more practical scenario when many loosely related unlabeled data are available and labeled data is scarce. Most existing algorithms assume that the underlying task distribution is stationary. Here we consider a more realistic and challenging setting in that task distributions evo

semi-supervised meta-learning evolving task distributions ood robust catastrophic forgetting mutual information regularization

发现论文，激发创造

基于元学习的任务无关持续学习

本文提出了一个框架，用于解决神经网络在数据分布不稳定时的忘记问题，该框架结合了元学习和持续学习技术的优点，避免了对任务边界的先验知识，并重点关注了如何更快地恢复性能。在监督学习情境下，我们展示了该框架的应用和效果。

Jun, 2019

面向多模态任务分布的不确定性感知元学习

本文提出了 UnLiMiTD 方法，该方法是一种基于概率预测和基于贝叶斯推理的 meta-learning 方法，能够有效应对少量数据和多模态任务分布的不确定性，同时在 OoD 任务上也表现良好。

Oct, 2022

基底混合对可解释连续学习中的分布转移问题

本文探讨了在数据分布和任务不断变化的情况下，通过一种半监督在线学习和自适应模型选择的方法来解决多任务连续学习问题。实验结果表明，在多个数据领域上，该方法的预测效果优于现有的方法，同时也证明了任务的潜在表示会随着任务边界的变化而改变。

Jan, 2022

自然语言处理元学习中多样化自监督任务的分布

本项研究探讨了如何通过自监督的方式，自动构建和提供能在自然语言处理中进行大规模元学习的任务分布，考虑了任务的多样性、难度、类型、领域和课程，结果表明，这些因素都会有意义地改变任务分布，从而显著提高元学习模型少样本学习的准确度。

Nov, 2021

一种用于开放集半监督学习的多任务课程框架

本文提出了一种多任务课程学习框架，旨在解决开放集合 SSL 中的未知样本问题，通过同时训练模型的正常分类能力和未知样本的检测能力，成功地消除了未知样本的影响。

Jul, 2020

基于记忆的元学习在非平稳分布上的应用

本研究旨在探究当前的序列预测模型及训练方法对于基于内隐元学习的解释有多大实现能力，特别是对于具有未观测切换点的分段平稳信号的处理，发现使用记忆型神经模型，包括 Transformers, LSTMs 以及 RNNs 等，可以准确地近似知道的基于 Bayes 最优算法，表现出对于隐含的切换点和每个分段内的数据分布参数进行贝叶斯推断的能力。

Feb, 2023

基于自监督任务表示学习的元强化学习

本文提出了 MoSS 算法，它是基于上下文自监督任务表示学习的元强化学习算法，能够在非参数任务分布、非静态任务和分布任务等方面实现先进的数据效率和适应能力。

Apr, 2023

具有困难感知的不平衡数据序列元学习

针对实际情况中任务分布动态变化和不均衡，本研究提出了一种基于核方法的领域变化检测和难度感知内存管理机制。同时，还引入了一种高效的自适应任务采样方法，最终在新的基准测试中得到了非常好的效果。

Sep, 2021

半监督式学习中的学习

本文提出了一种基于元学习的半监督学习方法，将有标签和无标签数据的相似度转化为对应的语义相似度，并通过自监督学习的方法实现了对有标签数据的更新。实验证明该方法较之传统方法更为有效。

Aug, 2020

人类和机器中结构化任务分布的元学习

通过构建基于组合语法的结构化任务分布和相同统计复杂度但没有明确的基于规则的结构的 “空任务分布”，比较人类表现与标准元学习代理在两个任务分布中的表现，发现虽然统计复杂度相当，但人类在结构化任务分布中表现更好，而代理在空任务分布中表现更好，这表明控制任务分布的谨慎构建是理解元学习者获得的策略及其与人类的差异之一种有价值的方法。

Oct, 2020