本文提出了 Mixup 数据增强方法在句子分类中的应用策略,并在多个基准数据集上进行了实验验证,结果表明该技术是一种有效的、领域无关的数据增强方法,可使 CNN 和 LSTM 模型的预测准确性显著提高。
May, 2019
本文尝试将最新的数据增强技术 Mixup 应用于自然语言处理领域,特别是在与 NLP 相关的 transformer-based 学习模型中。实验结果表明,Mixup 在预训练的语言模型中是一个独立于领域的数据增强技术,能够显著提高其性能。
Oct, 2020
我们提出了一种 NLP 技术,利用通用翻译数据集和知识蒸馏技术,通过两个预训练模型在源语言和目标语言上的表现实现了目标语言的句子关系推理,该技术在多个任务上展现了普适性。
Sep, 2023
提出了一种基于插值的数据增强算法 SegMix,该算法在具有任务特定结构的有意义的片段上进行插值,相比之前的方法在命名实体识别(NER)和关系抽取(RE)任务中表现更好,尤其在数据稀缺的情况下性能提升明显。
Nov, 2023
本文论述了插值个性化语言模型的新策略和处理未登录词的方法,以提高个性化语言模型,并通过 Reddit 的公开数据演示了通过将全局基于 LSTM 的撰写模型与用户个性化 n-gram 模型插值,通过优化基于分布式的 OOV 惩罚和插值系数的后退方法,我们观察到超过 80%的用户的恶化在困惑度上得到了提升,平均每个用户困惑度提升 5.2%。通过该研究,我们扩展了以前建立 NLIs 的工作,并提高了用于下游任务的指标的鲁棒性。
Jun, 2020
该研究提出了一种新的概念框架 —— 监督插值,通过松弛和概括 Mixup,可以有效地规范混合数据的训练,进而提出了一种名为 LossMix 的简单却灵活且有效的正则化方法,并设计了一种两阶段的域混合方法,借助 LossMix 超越了 Adaptive Teacher,并在无监督领域适应中有了新的突破。
Mar, 2023
本文研究数据增强方法 Mixup 的原理,从特征学习的角度解释了 Mixup 方法的优越性,并提出在早期训练阶段应用早停止技术以提高训练效果。
提出了 Data Interpolating Prediction(DIP)框架,将样本混合过程与分类器的假设类封装在一起,从而使训练和测试样本受到平等对待,进而帮助降低 Rademacher 复杂度并减少泛化误差。DIP 在实证上表现比 Mixup 更优。
Jun, 2019
提出了一种名为 DoubleMix 的插值数据增强方法,通过合成的数据集和原始数据集在神经模型的隐藏空间中进行插值,以及学习隐藏空间中的 “偏移” 特征来提高模型的鲁棒性,在六个文本分类基准数据集上,该方法优于几种流行的文本增强技术,同时在低资源情况下也能保持性能的提升。
Sep, 2022
在本文中,我们提出了一种称为多重揉混(multi-mix)的简单而有效的扩展方法,它通过从样本对生成多个插值样本,可以比标准 mixup 更好地引导训练过程,从而在泛化性能、鲁棒性和校准度方面超过了各种 mixup 变体和非 mixup 基线。
Jun, 2024