ACLMay, 2021

ProtAugment：用于意图检测元学习的无监督多样短文本改写

PDF
TL;DR本文提出一种名为 ProtAugment 的元学习算法，通过多样的重述技巧限制 Prototypical Networks 在每个元学习 episode 中受到的少样本分类目标带来的偏差，无需额外标注数据或在特定应用领域上微调条件语言模型即可成为当前意图检测元学习中最先进的方法。
发现论文，激发创造
  • ProtoDA: 少样本意图分类的高效迁移学习

    该研究探讨了在自然语言处理中实用的序列分类任务通常受到目标类别低训练数据可用性的影响，利用原型网络的元学习范式在相关任务集合上进行转移学习来缓解这个问题，并使用数据增强在句子嵌入空间和原型嵌入空间来提高分类性能，相对于 5-shot 和 10-shot 学习中的最佳性能，结合元学习的增强提供了高达 6.49％和 8.53％的相对 F1 分数改进。

    Jan, 2021

  • TaskMix: 口语意图理解元学习的数据增强

    本论文探讨了元学习在传递相关任务的知识方面的研究方向，发现在低任务多样性下，最先进的数据增强方法会恶化过拟合问题；为此，提出了一种称为 TaskMix 的简单方法以缓解过拟合问题和改善性能。

    Sep, 2022

  • 使用数据增强的多级联模型提升短文本复述检测

    本研究提出了一种基于数据增强的多重级联模型，用于改进短文本的对应检测，并在三个基准数据集上进行了评估和表现验证。

    Dec, 2019

  • 通过保留目标函数的自我训练增强方法提升少样本生成性对话状态追踪

    提出了一种新的自学框架，通过伪标签和目的保持扩充来迭代地改进模型，用于少样本生成式对话状态跟踪，增强了 MultiWOZ 2.1 的性能，并提高了无见过值的槽召回率。

    Nov, 2022

  • AugGPT：利用 ChatGPT 进行文本数据增强

    本文提出了一种基于 ChatGPT 的文本数据增强方法（AugGPT），通过将训练样本中的每个句子重新表达为多个概念上相似但语义上不同的样本，提高了数据不变性和样本大小，并在少样本学习文本分类任务上取得了优越性能。

    Feb, 2023

  • 使用现成大型语言模型进行意图分类的数据增强

    本研究提出了一种基于提示的方法，使用诸如 GPT-3 等预训练语言模型来生成带标签的意图分类的训练数据，与需要对数据生成进行任务特定的 LM 微调的方法相比，该方法不需要超参数调整，即使在训练数据非常缺乏的情况下也适用，并且评估结果表明，当考虑到的意图彼此足够不同时，GPT 生成的数据可以显著提高意图分类器的性能；而在半导体上的那些任务中，生成的数据的效果较差，原因是 GPT 经常生成错误的语句，而不是所需的语句。

    Apr, 2022

  • 半监督少样本分类的元学习

    本研究致力于发展一种在少量标记数据情况下对未标记数据进行分类的方法并提出一种新型 Prototypical Networks 和一种使用未标记数据的元学习算法来解实际问题，经过对 Omniglot、miniImageNet 和 ImageNet 进行实验，验证了这些算法可以使预测结果得到显著改进。

    Mar, 2018

  • 通过提示进行弱监督的对话理解数据增强

    本论文探讨了在缺少数据资源的情况下，利用预先训练好的语言模型进行对话理解中的数据增强的问题，并提出了一种利用弱监督滤波器迭代增强质量的新方法。实验结果表明，在 DailyDialog 和 Facebook 多语言任务导向对话的情感、行为和意图分类任务上使用少量数据作为辅助训练集，可以达到或超过现有的最佳性能。

    Oct, 2022

  • 使用数据增强的原型同体网络进行少样本主观答案评估

    本研究提出 ProtSI 网络，使用少样本学习来解决主观答案评估的困难，通过融合 Siamese 网络和原型网络的相似原型方法，以及无监督多样化的 ProtAugment 模型和对比学习，来实现更好的文本分类，进而在 Kaggle 短期打分数据集上表现出更高的精度和加权 kappa 系数。

    Nov, 2022

  • 利用生成式语言模型进行神经机器翻译的数据增强

    通过利用大规模语言模型如 ChatGPT，我们探索了基于提示的数据增强方法，用于产生合成的平行语料库，比较了三种不同提示的方法，并使用两个评估指标来衡量所生成的合成数据的多样性。这种方法无需额外的模型训练成本，与后向翻译等其他增强方法相比，提高了未增强基线的 0.68 BLEU 分数。

    Jul, 2023