Mar, 2017

元网络

HTML
PDF
TL;DR本文介绍了一种新的元学习方法Meta Networks（MetaNet），它通过快速参数化学习跨任务的元级知识，并在新概念上进行快速泛化，同时保持了以前所学的性能表现，在Omniglot和Mini-ImageNet基准测试中，我们的MetaNet模型实现了接近人类水平的表现，并在准确性上优于基线方法高达6％。我们展示了MetaNet的几个有吸引力的性质，如泛化和持续学习。
发现论文，激发创造
  • 一个简单的神经注意力元学习器

    本文提出一种使用时间卷积和软注意力的简单而通用的元学习器结构，命名为SNAIL， 在广泛的元学习实验中实现了表现显著优于现有技术，并获得了当前最先进的性能。

    Jul, 2017

  • 一种用于定制模型训练的元学习方法

    本文提出了一种联合训练方法，将迁移学习和元学习相结合，从而在少分类、少样本以及多分类、多样本任务中均可获得更好的泛化性能。

    Sep, 2018

  • 基于元学习的任务无关持续学习

    本文提出了一个框架，用于解决神经网络在数据分布不稳定时的忘记问题，该框架结合了元学习和持续学习技术的优点，避免了对任务边界的先验知识，并重点关注了如何更快地恢复性能。在监督学习情境下，我们展示了该框架的应用和效果。

    Jun, 2019

  • 基于梯度元学习的泛化理解探索

    本文研究了神经网络在基于梯度的元学习中的泛化问题，分析了目标景观的各种特性，提出了一种新的正则化方法以增强模型的泛化能力。实验表明，在元训练提供的元解决方案的基础上，通过几步基于梯度的微调适应元训练模型到新任务时，所得到的元测试解决方案变得越来越平坦，损失更低，并且远离元训练解决方案。

    Jul, 2019

  • 从过去学习：基于贝叶斯图建模的持续元学习

    提出了一种新颖的连续元学习方法，使用贝叶斯图神经网络(CML-BGNN)将元学习数学公式化为一系列任务的连续学习，在图形上保留任务内部和任务之间的相关性，利用Amortized inference networks 解决了图形初始化的拓扑不确定性，提高了minImageNet 5-way 1-shot分类任务的分类性能。

    Nov, 2019

  • 神经网络中的元学习：一份调查报告

    该文总结了元学习（或学习-学习）领域的现状，旨在通过改进学习算法本身来解决深度学习中包括数据和计算瓶颈在内的传统挑战，并提出了一种更全面的元学习方法分类，并重点介绍了几个应用领域，如少样本学习和强化学习，并讨论了未来研究的未解决的问题和有前景的方向。

    Apr, 2020

  • 深度元学习综述

    本论文旨在提供关于Deep Meta-Learning的理论基础以及总结关键的度量、模型和优化技术，同时也指出了性能评估和计算成本等主要挑战。

    Oct, 2020

  • 学习何处学习：元学习和持续学习中的梯度稀疏性

    通过使用稀疏梯度下降的元学习方法，可以改善神经网络权重初始化的泛化能力，从而实现少量权重改变导致低泛化误差，并且这种选择性稀疏性机制使得元学习在Few-shot和Continual学习等问题上更加高效。

    Oct, 2021

  • 当元学习遇上在线和持续学习：一项综述

    通过提供一份综合调查报告，有组织地使用一致的术语和形式描述，本文旨在促进这个有前景的研究领域的进一步发展。

    Nov, 2023

  • 领域泛化通过元学习: 一项调查

    深度神经网络在人工智能领域带来了革命性的进展，但面对分布转移时常常缺乏性能。传统神经网络假设训练和测试数据服从同一分布，然而实际应用中这一假设经常被违反。元学习作为一种有前景的方法，通过获取可传递的知识来快速适应各种任务，从而消除了从头学习每个任务的需求。本文基于特征提取策略和分类器学习方法的新分类法，全面调查了元学习在领域泛化方面的贡献，详细介绍了该领域的基础知识，并提供了关于未来研究方向的实践见解和深入讨论。

    Apr, 2024