EMNLPSep, 2021

自我训练与任务增强的少样本学习方法 - STraTA

PDF
TL;DRSTraTA 提出了一种新方法，即自训练 + 任务增强，通过任务增强技术和伪标记的数据进行自训练，以在少样本情况下有效提高预训练语言模型的效率。实验证明，STraTA 方法可以在 12 个少样本基准测试中显著提高样本效率。
发现论文，激发创造
  • STA: 自控文本增强提高文本分类

    介绍了一种自我控制的文本增强方法（Self-Controlled Text Augmentation - STA），该方法可以控制样本的语义内容，对比现有技术在多个数据集上实验表明 STA 的性能显著优于现有技术，并且生成的样本词汇多样性高，语义可靠。

    Feb, 2023

  • STUNT: 利用未标记表格自动生成任务进行少样本表格学习

    本文提出了一种名为 “Self-generated Tasks from UNlabeled Tables (STUNT)” 的半监督元学习框架，通过将随机选择的列作为目标标签生成多样的少样本任务，通过元学习，获得泛化能力强的知识。此外，作者还引入了一种无监督验证机制，通过在未标记的数据上生成伪验证集进行超参数搜索。实验结果表明，我们的框架在各种少样本学习基准测试中带来了显著的性能提升，相比于先前的半监督自监督基线。

    Mar, 2023

  • 使用自监督预训练和数据增强增强的直接语音翻译

    本文讨论了直接语音到语音翻译模型面临的数据稀缺性问题，探索了自监督预训练和数据增强技术来解决此问题，实验表明自监督预训练可以提高模型性能，结合数据增强技术可以进一步提高模型性能。

    Apr, 2022

  • 弱监督自训练

    本文提出一种基于弱监督、自训练、规则注意力网络和半监督学习的框架（ASTRA），利用所有可用数据来进行深度学习任务的训练，证明其在文本分类上有显著优势。

    Apr, 2021

  • 自我训练提升自然语言理解的预训练

    本文研究了一种使用自训练方法的半监督学习，提出了 SentAugment 数据增强方法，并取得了在文本分类任务上高达 2.6% 的改进。

    Oct, 2020

  • 通过保留目标函数的自我训练增强方法提升少样本生成性对话状态追踪

    提出了一种新的自学框架，通过伪标签和目的保持扩充来迭代地改进模型，用于少样本生成式对话状态跟踪，增强了 MultiWOZ 2.1 的性能，并提高了无见过值的槽召回率。

    Nov, 2022

  • 自我监督元学习用于少样本自然语言分类任务

    本文提出了一种自监督的方法来生成大量的 meta-learning 任务分布，通过这种方法，将 transformer 模型的预训练与 meta-learning 相结合，证明了这种方法能够在 NLP 任务上实现更好的少样本泛化。

    Sep, 2020

  • 单次适应的目标感知生成增强

    本文提出了一种新颖的域适应方法 SiSTA，该方法利用单次训练目标任务样本 fine-tuned 生成模型，以产生配对的真实目标标注数据，并证明在面部属性检测和多类对象识别等基准测试中，SiSTA 相对其他方法表现更优秀。

    May, 2023

  • 自训练提高了面向任务的对话系统中 Few-shot 学习的预训练

    研究通过自我训练的方法，利用大量未标记的对话数据进一步改进预先训练的模型，以应对高昂的对话系统不同模块的标注成本问题，并证明该方法在少量标记数据可利用时可以一致提高现有预先训练模型的性能。

    Aug, 2021

  • LST: 基于词典引导的自训练在小样本文本分类中的应用

    本文介绍了一种使用词汇表来指导伪标记机制的简单的自训练方法，即 LST。通过使用语言丰富的方式，我们不断优化词汇表来预测未见数据的置信度，从而更好地教授伪标签，实现了 5 个基准数据集每个类别 30 个标注样本的 1.0-2.0％的性能提高。

    Feb, 2022