Jan, 2021

子结构替换：面向 NLP 的结构化数据增强

PDF
TL;DR该研究探讨了一种基于数据增强的方法 SUB2，可以用于自然语言处理 (NLP) 任务，通过替换子结构生成新的样例，可以应用于许多结构化 NLP 任务，同时针对一般性的任务，该方法也可以通过基于句法解析树的变化引入结构感知型数据增强方法，大部分情况下，SUB2 通过增强数据集的训练可以获得比使用原始数据集更好的性能，并且在不同类型的任务和种子数据集大小方面，SUB2 相比其他方法具有更加一致的性能。
data augmentationsubstructure substitutionnatural language processingstructured nlp tasksconstituency parse trees
发现论文，激发创造
  • SUBS: 组合语义解析的子树替换算法

    使用子树替换进行合成数据增强可显著提高模型性能，特别是在 SCAN 和 GeoQuery 上，同时在 GeoQuery 的组成分离上达到了新的 SOTA。

    May, 2022

  • 依存子树交换增强机器翻译数据

    本文介绍了一种适用于机器翻译的数据增强的通用框架，该框架通过依赖子树交换进行数据增强，使用依赖解析树中的相应子树从源文本和目标文本中提取并交换，从而创建扩充样本，然后具有过滤、相似度检查和语义一致性检查等额外的方法和准则，实验证明该方法在 BLEU 分数上实现了一致的提高。

    Jul, 2023

  • 学习替代语块以提高组合泛化能力

    提出新的跨度替换策略（SpanSub）和基于嵌入式的学习框架（L2S2），分别解决了神经序列模型中的组合泛化问题和不均等难度分布下的挑战性组合问题，成功提高复杂数据集上的性能。

    Jun, 2023

  • 基于语法的命名实体识别数据增强

    本研究探讨了在低资源条件下如何使用数据增强技术来提高命名实体识别任务的性能，并比较了简单的掩码语言模型替换和基于句法树变异的数据增强方法，以保持增强后句子的语言连贯性。

    Aug, 2022

  • TreeSwap: 通过依存子树交换的数据增强方法用于机器翻译

    利用依赖分析树，在资源有限的数据集上进行数据增强，通过交换句子的对象和主语生成新句子，并在神经机器翻译中取得了持续的改进。

    Nov, 2023

  • TreeMix：面向自然语言理解的基于组成结构的数据增强

    介绍了一种基于语言组成性的自然语言理解数据增强方法 - TreeMix，在 NLP 的分类任务上表现比现有的方法更好。

    May, 2022

  • LexSubCon：将词汇资源的知识融入上下文嵌入，用于词汇替换

    LexSubCon 是一种端到端的词汇替换框架，结合上下文嵌入模型与结构化词汇资源，在词汇替换任务中取得高精度替换候选词，并通过混合嵌入策略、文档定义相似度和微调的句子相似性模型计算每个替换对句子语义的影响，从而优于先前的最先进方法。

    Jul, 2021

  • 基于神经语言模型的词汇替换方法比较研究

    本文基于大规模比较研究了常用的大规模神经语言和蒙面语言模型（LM 和 MLM），比如 Context2vec，ELMo，BERT，XLNet，在词汇替换任务中的应用。研究表明，如果目标词语的信息被适当地注入，则可以进一步提高 SOTA LM / MLM 已经具有的竞争结果，并比较几种目标注入方法。此外，提供不同模型生成的目标及其替代词之间语义关系类型的分析，从而深入探究生成或由注释员提供的替代词的种类。

    May, 2020

  • 结构多样采样：实现高效训练和全面评估

    本研究提出了一种结构多样性的训练方法，可以改善 NLP 模型组合性的普适性问题，并发现结构多样化训练可提高样本效率和测试统计数据的多样性。

    Mar, 2022

  • 基于语法依赖的无监督句法代换

    本文介绍了一种新的方法 SSUD，通过利用语法关系的一个属性 —— 语法替换性，不需要监督下拉金标准解析，就能诱导出语法结构，从而帮助理解大型预训练语言模型（LLMs）的句法能力，提高依赖分析任务的定量和定性效果。

    Nov, 2022