知情元学习

Feb, 2024

Informed Meta-Learning

Katarzyna Kobalczyk, Mihaela van der Schaar

TL;DR在实际应用中，机器学习在嘈杂和低数据的环境下面临一个重要挑战，即如何有效地整合具有数据效率和鲁棒性的归纳偏好。本论文通过介绍一种新的混合范式，即信息元学习，旨在实现人类和机器之间跨任务知识共享的互补性，为信息元学习的基本组成部分和具体实例 - Informed Neural Process 进行了阐述，通过一系列示例和大规模实验，展示了信息元学习在提高数据效率和对观测噪声、任务分布偏移和异质性的鲁棒性方面的潜在益处。

Abstract

In noisy and low-data regimes prevalent in real-world applications, an outstanding challenge of machine learning lies in effectively incorporating inductive biases that promote →

noisy and low-data regimes machine learning meta-learning informed ml data efficiency

发现论文，激发创造

从学习到元学习：减少通信系统培训开销和复杂性

该论文介绍了元学习的概念及其在通信系统中的应用，其中，元学习可以通过选择合适的归纳偏置，将训练过程中需要的数据和时间复杂度降至最小。

Jan, 2020

知情机器学习 —— 将知识融入学习系统的分类与调查

本文介绍了一个结构化的视角，讨论了先验知识在机器学习中的应用，阐述了先验机器学习的定义、概念和分类框架，并通过阅读相关研究论文总结了该领域的关键方法。

Mar, 2019

元学习最近进展的综述和调查

该论文回顾了元学习的概念和应用，其与深度学习的不同之处在于其能够适应于少量高维数据集，可以用于模型自适应，可不断自我完善实现高度自主的人工智能。元学习不断发展创新，不同的发展方法已有不同的应用和研究方向，进一步拓展了机器学习的应用领域。

Apr, 2020

无需记忆的元学习

通过信息理论设计的元正则化目标，可以使元学习器在任务训练数据和任务测试数据之间有效地适应，成功地使用来自非相互排斥任务的数据来有效地适应新任务，并在应用场景中大幅优于标准元学习算法。

Dec, 2019

基于层级专家网络的元学习

该论文提出了一种信息论的元学习模型，通过优化划分学习任务，使得专业的决策者解决子问题，从而达到高效的适应新任务的效果，在图像分类、回归和强化学习三个元学习领域进行验证。

Oct, 2019

元学习及其应用的信息论泛化界限

本文介绍了信息论方面的上界计算方法，应用于两种广义的元学习算法（MAML、Reptile）中，使用互信息和个体任务互信息界限来提高元泛化间隙的精度。

May, 2020

元学习：一次综述

元学习是通过系统观察不同的机器学习方法在各种学习任务上的表现，然后从这种经验或元数据中学习，以比以前快得多地学习新任务的科学。本章提供了该领域不断发展、令人着迷的最新概述，不仅可显著加速和改善机器学习流水线或神经结构的设计，还可以用数据驱动的方式学习新方法以取代手工设计的算法。

Oct, 2018

元先验：自适应逆问题求解的元学习

基于深度神经网络和元学习的方法，实现在缺少标准数据的情况下，用少量样本进行特定任务的有效训练，并在图像处理和磁共振成像等多个领域展示了方法的有效性。

Nov, 2023

利用自然语言与程序抽象将人类归纳偏好渗透到机器中

通过在自然语言任务描述和生成这些任务的程序中预测表示，并指导它们对更具人类化的归纳偏差进行联合训练，结果表明在下游元增强学习代理中，这些表示的抽象支持是关键。

May, 2022

神经网络中的元学习：一份调查报告

该文总结了元学习（或学习 - 学习）领域的现状，旨在通过改进学习算法本身来解决深度学习中包括数据和计算瓶颈在内的传统挑战，并提出了一种更全面的元学习方法分类，并重点介绍了几个应用领域，如少样本学习和强化学习，并讨论了未来研究的未解决的问题和有前景的方向。

Apr, 2020