COLINGMar, 2024

通过决策边界感知的数据增强在低资源环境中提高效果和鲁棒性

PDF
TL;DR该研究提出了一种基于决策边界的数据增强策略，利用预训练语言模型来提高鲁棒性；该技术首先将潜在特征接近决策边界，然后通过重构生成一个带有软标签的模糊版本，并建议使用中点 K 采样来增强生成句子的多样性。通过大量实验证明了该增强策略与其他方法相比的性能，同时深入研究了软标签和中点 K 采样的效果以及该方法在课程数据增强中的可扩展性。
发现论文，激发创造
  • 一种简单而又难以击败的数据增强方法，用于自然语言理解和生成

    本论文提出了一种简单且有效的数据增广策略 ——“cutoff”，并采用 Jensen-Shannon Divergence 一致性损失将这些增广样本融入到训练目标中，以有效提升人工智能在自然语言理解和生成，机器翻译等领域的表现。cutoff 方法与竞争对手相比表现相当甚至更好，并在 IWSLT2014 German-English 数据集上取得了最优性能。

    Sep, 2020

  • GPT3Mix：利用大规模语言模型进行文本增强

    本文提出一种新的数据增广技术，利用大规模的语言模型从混合的样本中生成逼真的文本样本，并利用语言模型预测的软标签，从大规模语言模型中蒸馏知识并同时创建文本扰动，我们在多元化的分类任务上进行数据增广实验，并展示了该方法远远优于现有的文本增广方法，消融研究和定性分析提供了更多的见解。

    Apr, 2021

  • 使用预训练语言模型进行口语理解的数据增强

    本研究提出了一种数据增量方法，利用预训练语言模型提高生成话语的变异性和准确性，同时探讨和提出了两种在 SLU 中被忽视的半监督学习情况的解决方案。实证结果表明，我们的方法可以生成合成训练数据，在各种情况下提高了语言理解模型的性能。

    Apr, 2020

  • 在 SemEval-2024 任务 2 中的 DKE 研究：结合数据增强、生成模型和生物医学知识提高推理鲁棒性

    通过语义扰动和特定领域词汇替换生成合成示例，并添加数值和定量推理新任务，以改进生物医学临床试验中自然语言推理模型的鲁棒性，结合多任务学习和 DeBERTa 结构，相较于原始语言模型在 NLI4CT 2024 基准上取得了显著的性能改进。

    Apr, 2024

  • PromptMix: 大型语言模型蒸馏的类边界增强方法

    利用大型语言模型（LLM）生成边界类别的具有正确标签的辅助数据，从而促进了知识传递并改善了文本分类任务中的数据增强效果。

    Oct, 2023

  • 利用语言进行图像的语义增强

    通过利用生成的图像来增强现有数据集的技术，该论文探讨了各种有效的数据增强策略，以提高深度学习模型的跨域泛化能力。

    Apr, 2024

  • AutoAugment 是您所需的：增强基于规则的增强方法在低资源环境中的应用

    本文提出了一种基于 AutoAugment 的方法来解决文本数据增强中的语义损害问题，并实验证明该方法可以改善现有的增强方法，并增强先进的预训练语言模型。

    Feb, 2024

  • 针对低资源事件抽取的目标增强

    应对低资源信息提取的挑战仍然是一个持续存在的问题，由于有限训练示例中固有的信息稀缺性。现有的数据增强方法被认为是潜在的解决方案，但在弱增强（例如同义词增强）和剧烈增强（例如缺乏适当指导的条件生成）之间很难达到平衡。本文提出了一种新的范式，采用目标增强和反向验证，以生成增强的示例，增强了多样性、极性、准确性和连贯性。广泛的实验结果证明了所提范式的有效性。此外，还讨论了已确定的局限性，为未来改进提供了启示。

    May, 2024

  • 通过提示进行弱监督的对话理解数据增强

    本论文探讨了在缺少数据资源的情况下，利用预先训练好的语言模型进行对话理解中的数据增强的问题，并提出了一种利用弱监督滤波器迭代增强质量的新方法。实验结果表明，在 DailyDialog 和 Facebook 多语言任务导向对话的情感、行为和意图分类任务上使用少量数据作为辅助训练集，可以达到或超过现有的最佳性能。

    Oct, 2022

  • 使用一致性正则化的半监督神经机器翻译技术 —— 面向低资源语言

    本文介绍一种半监督的方法来解决低资源语言机器翻译的问题，通过增强高质量的句子对和使用基于 SentenceBERT 的过滤器来提高数据质量，将交叉熵损失和 KL 散度相结合，特别是通过伪目标句子实现无监督训练，实验证明该方法可以显著提高 NMT 基线性能

    Apr, 2023