对抗性鲁棒少样本学习:一种元学习方法
本篇论文提出了一种名为元转移学习的新型少样本学习方法,通过训练多个任务以及为每个任务学习深度神经网络权重的缩放和移位函数来实现迁移。作者使用提出的HT元批处理方案对MiniImagenet和Fewshot-CIFAR100这两个具有挑战性的少样本学习基准进行了实验,并将其与相关工作进行了广泛比较,结果验证了元转移学习方法的优越性和高准确性。
Dec, 2018
本文考虑多任务表示学习的框架,总结最近的研究进展,指出基于梯度和基于度量的算法在实践中的根本差异并通过新的基于光谱的正则项改进元学习方法进行实验,以实现 few-shot 分类任务。
Oct, 2020
提出了一种基于元学习的小样本学习框架,通过在元模型更新阶段引入鲁棒性正则化来提高模型的对抗鲁棒性,在此基础上,提出了一个通用的鲁棒性正则化的元学习框架,可以使用不带标签的数据增强和对抗性攻击技术来实现有效的鲁棒性训练。此外,引入辅助对比学习任务进一步提高了模型的鲁棒性。
Feb, 2021
本文提出一种在没有访问元培训练集的情况下,利用预训练MAML检查点来解决新的few-shot分类任务的方法,通过结合对抗训练和基于不确定性的步长适应,以及对算法进行改进,在SGD和Adam优化器上,在同一领域和跨领域基准测试中优于“基准”MAML,并表现出对基础步长的选择具有更好的鲁棒性。
Mar, 2021
针对 few-shot 分类在训练和测试分布之间的域变化导致在测试上性能下降的问题,提出了通过任务增强来改善归纳偏置的鲁棒性,具体来说,采用对抗任务增强方法来生成具有挑战性的任务,可以提供简单的即插即用模块来提高元学习模型在跨域通用性中的性能。
Apr, 2021
本文提出了一种基于长期交叉对抗训练(LCAT)的元学习方法,在自然和对抗样本分布方向上进行跨更新,以提高元学习模型的对抗性和干净的Few-shot分类准确性,实验结果表明,LCAT在对抗样本上和干净样本上的Few-shot识别准确性上都优于目前最先进的元学习模型的对抗训练方法。
Jun, 2021
本文提出了一种新的元学习框架,集成对抗域适应网络,旨在提高模型的适应能力并为新类别生成高质量的文本嵌入。在四个基准数据集上进行了大量实验,结果表明我们的方法在所有数据集上都明显优于现有技术,特别是在20个新闻组数据集上,1-shot和5-shot分类的准确性从52.1%提高到59.6%和从68.3%提高到77.8%。
Jul, 2021
本文研究了如何使用转移学习训练鲁棒的少样本分类器,并提出了一种基于校准中心点的分类方法。我们证明,将标准对抗训练应用于基础类别,并结合针对新类别的校准中心点分类器,可以在少样本学习的标准基准测试中超越或与最先进的高级方法持平。我们的方法简单易用,易于扩展,几乎不需要额外的工作量就能使少样本分类器更加稳健。
Apr, 2022
通过限制数据和提供对抗文本监督,提出了一种少样本对抗提示框架,该框架在提高对抗鲁棒性方面表现出卓越的能力,并在仅使用1%的训练数据时,达到了与最先进的零样本对抗鲁棒性相匹配的水平。
Mar, 2024