快速元更新策略用于抗噪深度学习
本文提出一种噪声容忍的训练算法,其中在传统梯度更新之前进行元学习更新来模拟实际训练。通过生成合成噪声标签进行训练,该元学习方法训练模型,以便在使用每个设置的合成噪声标签进行一次梯度更新后,模型不会过度拟合特定的噪声,从而提高深度神经网络的性能。
Dec, 2018
本文提出了一种模型无关的元学习算法,通过少量的训练样本,使用梯度下降算法来训练模型的参数,实现了对新学习任务的快速调整和学习,导致在少量图像分类、回归和神经网络政策优化方面表现出最先进的性能。
Mar, 2017
本文介绍了一种新的元学习方法 Meta Networks(MetaNet),它通过快速参数化学习跨任务的元级知识,并在新概念上进行快速泛化,同时保持了以前所学的性能表现,在 Omniglot 和 Mini-ImageNet 基准测试中,我们的 MetaNet 模型实现了接近人类水平的表现,并在准确性上优于基线方法高达 6%。我们展示了 MetaNet 的几个有吸引力的性质,如泛化和持续学习。
Mar, 2017
通过从预训练模型中快速恢复训练任务和广义化到新的未见任务,我们提出了 Faster and Better Data-Free Meta-Learning (FREE) 框架,以解决数据恢复速度慢和异构预训练模型的缺点,实验证据表明,在多个基准测试中,我们的方法相对于现有的技术表现出 20 倍的加速和 1.42%至 4.78%的性能提升。
May, 2024
本文提出了一种名为 MFM 的元学习框架,通过模型学习长尾训练数据与平衡元数据之间的差异性,采用可学习的超参数来自适应地调整中间特征和分类网络参数,并在平衡的元数据的指导下对调制参数进行优化,最终在标准视觉数据集上取得了超越其他最先进方法的卓越成果,有效解决了类别不平衡问题。
Aug, 2020
FMAS 是一个快速的多目标神经架构搜索框架,用于语义分割。通过在搜索期间对 DeepLabV3 + 结构和预训练参数进行子采样且无需微调,FMAS 显著减少了训练时间,并使用验证数据集的子集进一步降低候选模型的评估时间。最终,只有最终的 Pareto 非支配候选者才使用完整的训练集进行微调。在 PASCAL VOC 2012 数据集上搜索性能更强且计算成本更低的模型时,FMAS 可以快速找到具有竞争力的设计,例如,在仅使用 0.5 GPU 天的时间内,它可以找到一种 DeepLabV3 + 变体,其 FLOPs 和参数分别减少了 10%和 20%,而误差仅增加了不到 3%。我们还在名为 GAP8 的边缘设备上进行搜索,并使用延迟作为指标。FMAS 可以发现比现有体系结构快 2.2 倍的神经网络,MIoU 损失仅为 7.61%。
Mar, 2023
本文提出了一种元算法来解决因从不同来源挖掘数据而导致的噪声标签问题,具有更新时间和更新方式分离的关键思想,利用简单实现的方法,将著名数据集 LFW 和文本性别化服务相结合用于性别分类,得到了最先进的结果,并分析了算法的收敛性能。
Jun, 2017
该论文提出了一种名为 MetaFEND 的端到端假新闻检测框架,将元学习和神经过程方法相结合,有效处理分类信息和修剪不相关的帖子,可以在新出现的事件上快速学习并检测到假新闻。
Jun, 2021