Jul, 2022

基于小型数据集的神经数据 - 文本生成：在大型语言模型之上比较两种半监督学习方法的附加值

PDF
TL;DR本研究探讨了半监督学习与预训练语言模型在数据生成文本方面的效果。结果表明，半监督学习方法可以增强输出质量和多样性，即使已经使用了预训练语言模型。
semi-supervised learningpretrained language modelsdata-to-text generationdata augmentationpseudo-labeling
发现论文，激发创造
  • 结合深度生成模型和多语言预训练进行半监督文档分类

    本文结合半监督深度生成模型与多语预训练技术，设计了一套用于文档分类的流程，在多个语种的低资源场景中表现出极强的竞争力，胜过现有最先进的方法。

    Jan, 2021

  • 基于大规模预训练的文本分类神经半监督学习

    本文研究了大规模语言模型预训练下半监督学习在文本分类任务中的应用及其效果，发现使用 U 集合（无监督数据）配合 D 集合（有监督数据）应用半监督学习策略可以在小样本数据集情况下达到高精度分类。

    Nov, 2020

  • 使用一致性正则化的半监督神经机器翻译技术 —— 面向低资源语言

    本文介绍一种半监督的方法来解决低资源语言机器翻译的问题，通过增强高质量的句子对和使用基于 SentenceBERT 的过滤器来提高数据质量，将交叉熵损失和 KL 散度相结合，特别是通过伪目标句子实现无监督训练，实验证明该方法可以显著提高 NMT 基线性能

    Apr, 2023

  • 基于 LM 的文本增强的神经数据到文本生成

    通过少量文本样本的文本增强和使用循环一致性作为目标实现弱监督训练范式在数据到文本生成中的有效性。

    Feb, 2021

  • 弱监督神经文本分类

    本文提出了一种弱监督文本分类方法，其包括一个利用种子信息生成伪标签文档进行模型预训练的伪文档生成器和一个在真实未标记数据上引导模型改进的自训练模块，具有处理不同类型弱监督任务和易于与深度神经网络模型集成等优点，并在三个真实数据集上进行了广泛的实验，结果表明其大幅优于基准方法而不需要过多的训练数据。

    Sep, 2018

  • 利用生成式语言模型进行神经机器翻译的数据增强

    通过利用大规模语言模型如 ChatGPT，我们探索了基于提示的数据增强方法，用于产生合成的平行语料库，比较了三种不同提示的方法，并使用两个评估指标来衡量所生成的合成数据的多样性。这种方法无需额外的模型训练成本，与后向翻译等其他增强方法相比，提高了未增强基线的 0.68 BLEU 分数。

    Jul, 2023

  • NLP-LTU 在 SemEval-2023 任务 10 中：数据增强和半监督学习技术对不平衡数据集上文本分类性能的影响

    本文提出了一种在社交媒体帖子中检测和分类在线性别歧视的方法，使用了 BERTweet、RoBERTa 和 DeBERTa 等 fine-tuned transformer-based 模型，并采用数据增强和半监督学习来改善模型的泛化能力和应对类别不平衡问题，在 SubtaskA 获得了 0.8613 的 F1 得分，排名第十。

    Apr, 2023

  • 文本数据集中的半监督学习算法调研

    通过比较不需要数据增强的 SSL 算法，研究发现三方协作算法与不一致性相结合的方法在文本数据中具有最接近完美效果，但性能差距表明需要开发新的半监督学习算法或改进现有的方法。

    Jan, 2024

  • 通过联合学习自然语言生成和自然语言理解模型的半监督神经文本生成

    本研究提出了一种半监督深度学习算法，能够在缺乏注释数据的情况下，利用非注释数据进行学习，采用序列到序列模型的 NLG 和 NLU 模型进行联合学习来实现。实验结果表明，在有限的注释数据下，该方法可以不使用任何预处理或重新评分技巧就能够取得非常有竞争力的效果，为不断发展新的 E2E NLG 应用程序开拓了道路。

    Sep, 2019

  • 使用预训练语言模型进行口语理解的数据增强

    本研究提出了一种数据增量方法，利用预训练语言模型提高生成话语的变异性和准确性，同时探讨和提出了两种在 SLU 中被忽视的半监督学习情况的解决方案。实证结果表明，我们的方法可以生成合成训练数据，在各种情况下提高了语言理解模型的性能。

    Apr, 2020