May, 2023

自动形态学变化中组合式数据增强的理解

PDF
TL;DR本研究探讨了数据增强策略 StemCorrupt 的理论方面，揭示其底层数据分布的内在组合结构，并研究了 StemCorrupt 的数据效率和语言类型学特征对增强策略的影响。实验结果表明，选择高多样性和高预测不确定性的数据点可以显著提高 StemCorrupt 的数据效率，但对于包含非级联属性的语言，如形态变化，会引入音韵规则违反而降低表现。
data augmentationmorphological inflectionstemcorruptdata efficiencytypological features
发现论文，激发创造
  • 足够好的组合数据增强

    本文提出了一种简单的数据增强协议，旨在为条件和无条件序列模型提供组合归纳偏置。经过测试，该协议可以应用于神经序列到序列模型和 n-gram 语言模型，使得错误率和困惑度均有所降低。

    Apr, 2019

  • 面向低资源语言的依存树变形数据增强

    该研究提供基于依赖树的文本增强技术，包括剪裁和旋转，用于增加低资源语言数据集的大小，在词性标注任务中提高了大多数语言的精度。

    Mar, 2019

  • TreeMix：面向自然语言理解的基于组成结构的数据增强

    介绍了一种基于语言组成性的自然语言理解数据增强方法 - TreeMix，在 NLP 的分类任务上表现比现有的方法更好。

    May, 2022

  • 基于语法的命名实体识别数据增强

    本研究探讨了在低资源条件下如何使用数据增强技术来提高命名实体识别任务的性能，并比较了简单的掩码语言模型替换和基于句法树变异的数据增强方法，以保持增强后句子的语言连贯性。

    Aug, 2022

  • 基于词典的形态学感知数据增强技术用于机器翻译低资源语种

    我们提出了一种依赖于词法 - 句法信息和双语词典以及少量种子并行数据来合成并行数据的策略，该方法在 14 种语言中（28 个英语 <->X 对）的实验中展示了性能的一致提升。

    Feb, 2024

  • Text AutoAugment: 学习文本分类的组合增强策略

    Text AutoAugment 是一种数据增强方法，通过贝叶斯优化算法自动寻找最佳组合操作作为增强策略应用于训练数据。该方法显著提高了模型的泛化能力，并在六个基准数据集上表现突出，特别是在低资源和类不平衡情况下，相应的分类准确率平均分别提高了 8.8% 和 9.7%。

    Sep, 2021

  • 序列级混合样本数据增强

    该研究提出了一种简单的数据增强方法 SeqMix，用于鼓励神经模型针对序列问题的组合行为，该方法可以使神经网络捕获自然语言中的组合特征，旨在提高机器翻译和语义分析等任务的性能。

    Nov, 2020

  • 句法数据增强提高推理启发健壮性

    本研究探讨了如何在训练过程中利用句法信息来提高预训练模型 BERT 在自然语言推理上的表现，经过尝试，通过主语 / 宾语倒装能将模型在控制的测试中的准确率从 0.28 提升至 0.73，而对 MNLI 测试集影响不大，表明数据增强能帮助 BERT 招募抽象的句法表示从而提升模型的表现。

    Apr, 2020

  • 利用反事实数据增强来减轻语言中丰富形态学的性别刻板印象

    提出一种新方法，在语法形态复杂的语言（如西班牙语和希伯来语）中将男性化和女性化的句子互相转换，以达到减少性别刻板印象的目的，同时保持语法正确性。

    Jun, 2019

  • 关于数据增强与随机扰动对自然语言处理鲁棒性的影响

    本文利用最小样本距离等方法，探究了数据增强和测试时图像扭曲之间的关系，并提出了测试时图像扭曲和数据增强之间的感知相似度的概念。结果表明，基于感知相似的数据增强可以提高对图像扭曲的鲁棒性，并强调数据增强在图像扭曲鲁棒性方面的重要性。

    Feb, 2021