本文首次在信息理论的背景下，为传导学习算法开发了数据相关性和算法相关性的一般化界限。我们表明传导学习算法的一般化差距可以通过训练标签和假设之间的互信息来限制。通过创新性地提出传导超样本的概念，我们超越归纳学习设置，并建立了各种信息测量的上界。此外，我们派生了新颖的 PAC-Bayesian 界限，并建立了传导学习环境下一般化与损失曲面平坦性之间的联系。最后，我们提出了自适应优化算法的上界，并展示了在半监督学习和图学习场景中的应用结果。我们的理论结果在合成数据集和真实世界数据集上得到验证。

Nov, 2023

通过信息理论设计的元正则化目标，可以使元学习器在任务训练数据和任务测试数据之间有效地适应，成功地使用来自非相互排斥任务的数据来有效地适应新任务，并在应用场景中大幅优于标准元学习算法。

Dec, 2019

利用信息论推导出监督学习算法的泛化误差的信息熵上界，能够更全面地考虑损失函数的条件，并且在应用于嘈杂和迭代算法时能够给出比现有结果更紧密的泛化误差表征。

Jan, 2019

利用相互信息和信息瓶颈的概念对元学习进行了建模，提出了一种通用的可行的框架，用于学习任务描述的随机表示或编码，该表示对于预测验证集具有高度的信息量，并开发了一种基于记忆的算法，用于少样本分类问题的研究。

Sep, 2020

本文研究了超模型学习中的 MAML 算法在监督学习问题的推广性质，探讨了训练 MAML 模型的任务和样本数量对其推广误差的影响。我们提出了一种新的稳定性定义，从而捕捉了任务数和每个任务样本数对 MAML 推广误差的作用。

Feb, 2021

利用层级潜变量模型，自动推断任务之间的关系并应用于模型强化学习中，从而实现在小规模数据集上的元学习，有效提高数据利用率，解决新任务的平均交互时间缩短高达 60%。

Mar, 2018

本研究提出了一种基于信息理论的泛化误差上界方法，用以控制模型的输入输出互信息，进而指导在数据适配和泛化之间寻找平衡点。在此基础上，我们探索了一些方法，包括利用相对熵或随机噪声来正则化 ERM 算法等。这些方法扩展和改进了 Russo 和 Zou 的最近工作。

May, 2017

该论文回顾了元学习的概念和应用，其与深度学习的不同之处在于其能够适应于少量高维数据集，可以用于模型自适应，可不断自我完善实现高度自主的人工智能。元学习不断发展创新，不同的发展方法已有不同的应用和研究方向，进一步拓展了机器学习的应用领域。

Apr, 2020

在实际应用中，机器学习在嘈杂和低数据的环境下面临一个重要挑战，即如何有效地整合具有数据效率和鲁棒性的归纳偏好。本论文通过介绍一种新的混合范式，即信息元学习，旨在实现人类和机器之间跨任务知识共享的互补性，为信息元学习的基本组成部分和具体实例 - Informed Neural Process 进行了阐述，通过一系列示例和大规模实验，展示了信息元学习在提高数据效率和对观测噪声、任务分布偏移和异质性的鲁棒性方面的潜在益处。

Feb, 2024

本论文研究了多任务学习（MTL）与基于梯度的元学习（GBML）之间的关系，通过理论和实证研究证明了它们在优化公式和学习到的预测函数上的相似性，并通过样例展示了 MTL 作为一阶方法可以代替计算代价高的二阶方法 ——GBML，在大规模数据集上训练时更加有效。

Jun, 2021