May, 2019

序列策略的元学习

PDF
TL;DR在这篇论文中，我们回顾了基于记忆的元学习作为构建在目标类中适应任何任务的节约样本策略的工具，并通过基本算法模板提供构建近乎最优预测器和强化学习器的概念基础。此外，我们将记忆性元学习重新放入贝叶斯框架内，展示元学习策略接近最优，因为它们分摊了贝叶斯滤波之后的数据，其中适应在内存动态中实现为足够统计的状态机。基本上，基于记忆的元学习将概率序列推断的困难问题转化为回归问题。
发现论文，激发创造
  • 元训练智能体实现贝叶斯最优智能体

    该研究通过在一些预测和赌博任务上的实验，发现元学习可以作为近似数值逼近贝叶斯最优智能体的一般技术。实验结果表明，memory-based meta-learning 可以使一些不可解的任务变得可解。

    Oct, 2020

  • 基于记忆的元学习在非平稳分布上的应用

    本研究旨在探究当前的序列预测模型及训练方法对于基于内隐元学习的解释有多大实现能力，特别是对于具有未观测切换点的分段平稳信号的处理，发现使用记忆型神经模型，包括 Transformers, LSTMs 以及 RNNs 等，可以准确地近似知道的基于 Bayes 最优算法，表现出对于隐含的切换点和每个分段内的数据分布参数进行贝叶斯推断的能力。

    Feb, 2023

  • 概率主动元学习

    这篇论文提出了一种基于概率潜变量模型的任务选择方法，将任务的先前经验引入到元学习算法中，以提高元学习的数据效率，并在机器人实验中获得了实证证据。

    Jul, 2020

  • Few-shot 学习的元学习方法：最新进展综述

    该论文介绍了元学习在深度学习中的应用及其近期发展，涵盖度量、记忆、基于学习等方法，并探讨了当前的挑战和未来的研究方向。

    Mar, 2023

  • 元学习认知模型

    本研究综合了先前的工作，旨在建立一个关于 cognition 的 meta-learned 模型的研究计划，证明 meta-learning 可以用于构建 Bayes-optimal learning algorithms，实现对 cognitive theories 的更加广泛的范围的建模

    Apr, 2023

  • 增强元学习范式的简单而有效策略

    元学习是一种有前途的范式，可以实现任务之间的技能迁移。此论文从分布鲁棒的角度优化元学习流程，并用预期尾风险的度量来元训练模型，提高元学习对任务分布的鲁棒性并减少最坏快速适应风险的条件期望。

    Oct, 2023

  • 一个简单的神经注意力元学习器

    本文提出一种使用时间卷积和软注意力的简单而通用的元学习器结构，命名为 SNAIL， 在广泛的元学习实验中实现了表现显著优于现有技术，并获得了当前最先进的性能。

    Jul, 2017

  • 无需记忆的元学习

    通过信息理论设计的元正则化目标，可以使元学习器在任务训练数据和任务测试数据之间有效地适应，成功地使用来自非相互排斥任务的数据来有效地适应新任务，并在应用场景中大幅优于标准元学习算法。

    Dec, 2019

  • 学会学习神经网络

    利用 LSTM 神经网络实现元学习，并能将其与手工设计的算法进行对比，在实验中，我们学习了针对非线性可分数据集的一个具有两个隐藏层的 MLP 的学习算法，并且该算法能够成功地更新两个隐藏层的参数并且在类似的数据集上具有泛化性能。

    Oct, 2016

  • 元学习最近进展的综述和调查

    该论文回顾了元学习的概念和应用，其与深度学习的不同之处在于其能够适应于少量高维数据集，可以用于模型自适应，可不断自我完善实现高度自主的人工智能。元学习不断发展创新，不同的发展方法已有不同的应用和研究方向，进一步拓展了机器学习的应用领域。

    Apr, 2020