ACLMay, 2023

循环训练实现低资源数据文本生成

PDF
TL;DR本文提出了一种基于无监督学习的方法 —— 循环训练，用于改善从结构化数据向自然语言文本的转化问题，在四个数据集中，这种方法表现得像完全监督方法一样出色，通过自动评价和人工评估表明，循环训练策略的不同对于降低文本生成错误类型的有效性也不同。
text generationstructured dataunsupervised learningcycle trainingdata-to-text generation
发现论文，激发创造
  • CycleGT: 通过循环训练实现无监督图到文本和文本到图生成

    运用循环生成对抗网络来进行无监督学习，同时有效解决 G2T 和 T2G 领域数据稀缺问题。

    Jun, 2020

  • 基于 LM 的文本增强的神经数据到文本生成

    通过少量文本样本的文本增强和使用循环一致性作为目标实现弱监督训练范式在数据到文本生成中的有效性。

    Feb, 2021

  • 循环一致性反向生成对抗网络用于文本到图像合成

    本文提出了一种新颖的循环一致性逆向生成对抗网络 (CI-GAN) 框架，用于文本到图像生成和文本引导下的图像操作任务，在该框架中，我们采用循环一致性训练来学习更加稳健一致的潜变量，并通过学习文本表示与潜变量之间的相似度模型，在文本引导的优化模块中生成具有所需语义属性的图像，实验证明该框架具有良好的性能。

    Aug, 2021

  • 端到端语音识别的循环一致性训练

    该论文介绍了一种使用未配对数据训练端到端自动语音识别模型的方法，并提出了一种基于语音编码器状态序列而非原始信号的损失来解决在中间文本瓶颈中丢失基本信息的问题，通过对 LibriSpeech 语料库的实验结果表明，这种循环一致性训练可以将单词错误率从使用 100 小时配对数据训练的初始模型中减少 14.7％，并通过研究仅使用文本数据进行语言建模进一步提高了未配对数据训练的性能。

    Nov, 2018

  • 学习如何提问：循环一致性优化多模态基础模型的提示

    探索从生成结果到任务规范的可能性，使用循环一致性损失来强化模型性能，无需昂贵的微调、训练数据或外部环境，使用自我监督学习进行提示，用于代码生成和图像描述任务，在多个基准测试中取得了优异的结果。

    Feb, 2024

  • 利用多个来源的课程 CycleGAN 进行文本情感域自适应

    本文介绍了一种名为课程循环一致生成对抗网络（C-CycleGAN）的实例级多源域适应框架，可在处理用户评论和反馈数据中应用多源域适应领域，该框架主要包括预训练文本编码器、中间域生成器和任务分类器，可达到比现有域自适应方法更好的性能。

    Nov, 2020

  • 利用无配对数据进行视觉 - 语言生成模型的循环一致性优化

    本文介绍了 ITIT（InTegrating Image Text）模型，采用循环一致性原则，通过在未配对的图像和文本数据上进行双向图像到文本和文本到图像的生成，实现视觉语言训练，并证明其在与高质量配对数据相比的图像生成和字幕性能上表现类似。

    Oct, 2023

  • 使用非成对语音和文本的半监督序列到序列自动语音识别

    本文提出了一种新的半监督训练方法，该方法结合了端到端的不可区分的 ASR->TTS 损失和 TTS->ASR 损失，利用未配对的语音和文本数据，相较于其他相关技术在 WSJ 和 Librispeech 语料库上的 WER 性能更好。

    Apr, 2019

  • 文本到数据：以文本控制为主的低资源数据生成

    通过无标注数据进行无监督扩散建模的 Text2Data 方法在低资源环境中能够实现跨多种模态的可控性，并具备比现有基线模型更好的性能。

    Feb, 2024

  • 迭代文本编辑的数据生成

    本研究提出了一种基于迭代文本编辑的数据到文本生成新方法，使用两个先前训练模型 LaserTagger 和 GPT-2，并通过简单的启发式筛选和已训练语言模型对输出进行筛选和重新排序。

    Nov, 2020