EMNLPOct, 2022

ASDOT：基于预训练语言模型的任意样本数据到文本生成

PDF
TL;DR提出了 Any-Shot Data-to-Text (ASDOT) 方法，通过数据消歧和句子融合两个步骤，使用预训练语言模型实现灵活地进行零样本学习的数据文本生成，实验证明 ASDOT 能够显著提高生成效果。
data-to-text generationneural methodsdata-scarce issuespretrained language modelszero-shot learning
发现论文，激发创造
  • 预训练语言模型中数据到文本生成的困难之处是什么？

    本文对预训练语言模型和自回归预训练语言模型在 DART 数据集上的 D2T 任务表现进行实证研究，考虑了任务数据量的大小，以及零样本和少样本学习以及模型微调等方式，研究表明需要更多仔细手工策划的数据集来改善基于此的 D2T 生成任务。

    May, 2022

  • 使用蒸馏表示进行零和少量训练的任务导向对话代理定位

    本文提出了一种利用源语言 ToD 训练数据构建另一种目标语言下的高质量对话代理的方法，从而实现零样本和小样本学习，它通过提高对话数据表示的质量、改进基于实体的机器翻译和自动过滤干扰性翻译来实现这一目标，通过在中英对话数据集 BiToD 上的实验证明了该方法的高效性。

    Feb, 2023

  • 零样本数据到文本生成的神经管线

    本文利用预处理语言模型进行通用领域训练，使用由维基百科构建的 WikiFluent 数据集，在 WebNLG 和 E2E 数据集上进行实验证明，使用单个项目描述生成 D2T 是可行的，且可以从 RDF 三元组中完成零 - shot D2T 生成。

    Mar, 2022

  • 基于 LM 的文本增强的神经数据到文本生成

    通过少量文本样本的文本增强和使用循环一致性作为目标实现弱监督训练范式在数据到文本生成中的有效性。

    Feb, 2021

  • LAD: 以语言模型为数据的零 - shot 对话

    通过使用 GPT-3，本文提出了一种名为 LAD 的数据范式，用于创建多样化和准确的合成数据，以训练下游神经对话模型，实现零 - shot 泛化，并在意图预测、槽填充和下一步行动预测方面实现了显著的性能提升。同时通过交互式人类评估表明，与人类对话训练相比，使用 LAD 训练的效果是有竞争力的。

    Jul, 2022

  • 利用多样数据生成实现可调适的零样本对话状态追踪

    通过增加使用合成数据生成技术来提高零 - shot 对话状态追踪（DST）准确性的多样性的训练数据，本研究证明了可实现的巨大收益。该研究通过使用一种新颖的全自动数据生成方法来创建合成的零 - shot DST 训练资源，克服了当前 DST 训练资源在应用领域和槽类型方面的严重限制，该方法生成全新的应用领域以及具备银标注和槽描述的对话。该方法用于创建 D0T 数据集以训练零 - shot DST 模型，该数据集涵盖了 1000 多个领域。在 MultiWOZ 基准测试中进行的实验表明，使用多样化合成数据训练模型可以改善 + 6.7% 的联合目标准确率，达到与更大模型相竞争的结果。

    May, 2024

  • 统一表示与多源学习实现的少样本数据生成文本

    我们提出了一种新颖的结构化数据到文本生成方法，旨在改善多任务训练、零样本和少样本情况下的性能，并提供可以处理各种形式的结构化数据的统一表示，例如表格、知识图谱三元组和意义表示。我们证明了我们提出的方法可以有效适应新的结构化形式，并在性能上优于当前的方法。

    Aug, 2023

  • 搜索与学习：改进数据到文本生成的语义涵盖率

    该论文提出一种搜索和学习的方法来解决低语义覆盖率问题，进而提高 data-to-text 生成中预训练语言模型的效率，并在 E2E 和 WikiBio 数据集上实现了高性能。

    Dec, 2021

  • 零样本立场检测：利用上下文数据生成与 LLMs

    利用 GPT-3 生成动态模型适应与上下文数据生成的方法（DyMoAdapt）来进行态度检测，提出了多生成主题 VAST（MGT-VAST）数据集，扩展了 VAST，从而帮助模型理解上下文与不同潜在主题之间的关系

    May, 2024

  • 迭代文本编辑的数据生成

    本研究提出了一种基于迭代文本编辑的数据到文本生成新方法，使用两个先前训练模型 LaserTagger 和 GPT-2，并通过简单的启发式筛选和已训练语言模型对输出进行筛选和重新排序。

    Nov, 2020