NeurIPS'22 跨领域元深度学习竞赛:设计与基线结果
本文介绍 MetaDL 比赛的设计,数据集,最佳实验结果以及 NeurIPS 2021 挑战赛的排名方法,旨在通过元学习方法解决深度神经网络所需要的大量数据和计算资源的问题,同时强调学习良好的表示对于有效的转移学习至关重要。
Jun, 2022
通过引入迁移学习和元学习以及改进的训练过程包括一阶 MAML 算法和图神经网络模型,本文提出的方法在加上数据增强后,在新的跨领域少样本学习基准上实现了 73.78% 的平均准确度,比既有基准提高了 6.51%。
May, 2020
本文提出了跨域 few-shot 学习的 Broader Study of Cross-Domain Few-Shot Learning (BSCD-FSL)基准,并对该基准的广泛实验表明了目前最先进的元学习方法被早期的元学习方法意外地超越,同时发现所有方法的准确性倾向于与数据集的相似性相关,这验证了该基准的价值,可指导未来的研究方向。
Dec, 2019
针对实际情况中任务分布动态变化和不均衡,本研究提出了一种基于核方法的领域变化检测和难度感知内存管理机制。同时,还引入了一种高效的自适应任务采样方法,最终在新的基准测试中得到了非常好的效果。
Sep, 2021
本文提出了一种用于跨领域的小样本图分类问题的基于注意力机制的图编码器,使用三个具有相同结构但不同功能的图像来学习任务特定的信息表示以达到快速适应的目的,实验结果表明,该编码器结合度量学习元学习框架时,可以在所有基准测试中实现最佳的平均元测试分类准确性。
Jan, 2022
针对 few-shot 分类在训练和测试分布之间的域变化导致在测试上性能下降的问题,提出了通过任务增强来改善归纳偏置的鲁棒性,具体来说,采用对抗任务增强方法来生成具有挑战性的任务,可以提供简单的即插即用模块来提高元学习模型在跨域通用性中的性能。
Apr, 2021
本文提出了利用元任务之间的关系来辅助元学习的方法,分别考虑了在两种类型的元任务对上的关系,并提出了不同的策略来利用它们:1)有不相交类集的两个元任务,2)有相同类集的两个元任务,并给出了相应的新学习目标。然而由于实验中的一些错误,我们选择撤回本文。
Feb, 2020
本文的研究着重于文本识别问题,通过提出元自学习方法 (Meta Self-Learning) 和收集包含 5 个不同领域的超过 5 百万张图像的多源领域适应数据集,提供了一个基准测试,实验结果证明了我们的方法的有效性。
Aug, 2021
深度神经网络在人工智能领域带来了革命性的进展,但面对分布转移时常常缺乏性能。传统神经网络假设训练和测试数据服从同一分布,然而实际应用中这一假设经常被违反。元学习作为一种有前景的方法,通过获取可传递的知识来快速适应各种任务,从而消除了从头学习每个任务的需求。本文基于特征提取策略和分类器学习方法的新分类法,全面调查了元学习在领域泛化方面的贡献,详细介绍了该领域的基础知识,并提供了关于未来研究方向的实践见解和深入讨论。
Apr, 2024
本文提出了一种新的元 - 混合网络,提出了利用少量标记目标数据来指导模型学习的想法,通过重新提出并将混合模块集成到元学习机制中,以及通过提出新的解缠模块和域分类器来提取解缠的领域无关和领域特定特征的方法,实现了缩小域差距的目的,从而使模型能够很好地推广到目标数据集。
Jul, 2021