该研究提出了 MetaMix 和 Channel Shuffle 等两种元学习任务增广方法,以提高元学习的泛化能力。实验结果显示这两种方法都能显著提高元学习在多个数据集上的表现,并且与现有元学习算法兼容。
Jul, 2020
提出了一种利用神经集函数和双层优化,通过任务插值来加强元训练任务分布,以提高泛化性能的新颖领域不可知任务增强方法 Meta-Interpolation,并在跨越图像分类、分子属性预测、文本分类和语音识别等多个领域的实验中进行了验证,结果表明 Meta-Interpolation 始终优于相关基线方法。
May, 2022
本文提出了一种通过任务插值来扩充任务集的元学习方法(MLTI),通过该方法可以实现更好的泛化性能,从而在多个数据集上显著优于当前最先进的策略。
Jun, 2021
本文尝试将最新的数据增强技术 Mixup 应用于自然语言处理领域,特别是在与 NLP 相关的 transformer-based 学习模型中。实验结果表明,Mixup 在预训练的语言模型中是一个独立于领域的数据增强技术,能够显著提高其性能。
Oct, 2020
该研究通过四种自动方法在单词和句子级别上增强数据,提高目标导向对话模型的数据效果,并在两个数据集上进行实验,结果表明四种数据扩充方法在 Success F1 score 方面均能显著提高。进一步分析确认,增加用户话语的多样性可以使端到端模型学习特征更为稳健。
Dec, 2019
本文介绍了一种用于解决儿童自动语音识别中数据稀缺问题所采用的基于元学习的模型初始化方法,首先验证了其有效性,然后通过模拟新年龄来提出了任务级别的增强方法,成功改善了学习器过拟合的问题,并达到了相对词错误率 (WER) 的提升率高达 51% 的效果
Feb, 2022
本研究针对图像分类器的训练方法进行了探讨,通过元学习算法对支持数据、查询数据和任务进行复杂的抽样,利用数据增强方法不仅可增加每个类别的图片数量,还可生成全新的类别和任务,提高了元学习器在少样本分类基准上的性能。
本文探讨了自然语言处理、迁移学习和数据利用等技术在编程语言任务中的应用以及基于增强方法的模型训练,该方法可使代码翻译和摘要的准确率分别提高至 6.9% 和 7.5%。
Feb, 2023
数据增强通过合成更多的训练样本提高深度学习模型的泛化能力。TransformMix 是一种自动化方法,通过应用学习到的变换和混合扩增策略来创建具有正确和重要信息的混合图像,从而提高性能。
Mar, 2024
该论文提出了一种名为 KnowDA 的 Seq2Seq 语言模型,该模型利用知识混合训练 (KoMT) 在多个异构 NLP 任务中预先训练并生成高质量的合成数据,用于解决低资源 NLP 任务中数据增强的问题。实验证明,KnowDA 成功地将任务知识转移给在 KoMT 中看到和没有看到过的 NLP 任务。
Jun, 2022