ACLOct, 2021

使用自我训练提高数据到文本生成的组合泛化能力

PDF
TL;DR本文研究了结构化意义表示到自然语言生成中 T5 模型的泛化问题，提出了基于模板的输入表示和基于 fine-tuned BLEURT 的自训练方法来改善模型的泛化和性能，在少样本场景下通过常用的 SGD 和 Weather 基准测试取得了比强基线模型 46% 以上的提升和 73% 以上的错误率降低。
data-to-text generationfew-shot generalizationt5 modelstemplate-based input representationself-training
发现论文，激发创造
  • 数据到文本生成的组合推广

    数据到文本生成涉及将结构化数据转化为连贯的文本描述，本论文提出了一种解决复合概括问题的新模型，通过将谓词聚类成组，在生成文本时逐句依赖于一组谓词，显著优于基线模型 T5 的各种评估指标，尤其在维护对输入的忠实度指标上提升了 31%。

    Dec, 2023

  • 简洁有效的数据增强方法用于组合泛化

    数据增强方法在预训练 seq2seq 模型中对于复合泛化很有效，但仅在从正确分布中进行采样时。从均匀分布中进行采样的表现几乎与从测试分布中采样相当，并且明显优于从训练分布中采样的先前方法。我们进一步进行实验证明了这种情况发生的原因和这种数据增强方法带来的好处。

    Jan, 2024

  • 两阶段自增量自训练在少样本对话生成中的应用

    本文提出了一种两阶段的自我增强模型，通过模型预测不确定性筛选最具信息量的意义表示，并通过聚合每个意义表示的多个微扰潜在表示来生成准确的响应，从而生成高质量的伪标签 MR-to-Text 对，实验结果表明，该方法在两个基准数据集 FewShotWOZ 和 FewShotSGD 上的表现普遍优于现有的自训练方法，达到了人机一致的效果。

    May, 2022

  • 基于课程的自训练提高数据到文本生成的少样本学习效果

    本研究提出一种基于自学习的数据到文本生成方法，通过前置学习模型生成的伪标签数据，显式地捕捉数据和文本之间的复杂关系，以及一种称为基于课程设置的自学习 (CBST) 的新方法来缓解伪标签数据的质量问题，在少量标记的数据集下显著优于基于现有技术的元认知预训练和微调方法，本方法成为数据到文本生成领域中的最佳方法。

    Jun, 2022

  • 搜索与学习：改进数据到文本生成的语义涵盖率

    该论文提出一种搜索和学习的方法来解决低语义覆盖率问题，进而提高 data-to-text 生成中预训练语言模型的效率，并在 E2E 和 WikiBio 数据集上实现了高性能。

    Dec, 2021

  • 多标签文本分类的组合泛化：一种数据增强方法

    通过创建独特的数据集，评估现有多标签文本分类模型对复杂概念的组合泛化能力，在此基础上引入了数据增强方法，利用两种创新的文本生成模型提高分类模型对组合泛化的能力。实验证明，该数据增强方法显著提升了分类模型在我们的基准测试中的组合泛化能力，两种生成模型均超过了其他文本生成基准。

    Dec, 2023

  • 利用潜在结构和数据增强来改善组合泛化能力

    通过引入一种称为组成结构学习者的生成模型，该研究提出了一种更强大的数据重组方法，用于对先前的黑盒神经模型进行组成数据增强，并使得具有对自然语言变异和新颖元素组合的通用性的复杂语义分析任务的性能达到了新的最优状态。

    Dec, 2021

  • 统一表示与多源学习实现的少样本数据生成文本

    我们提出了一种新颖的结构化数据到文本生成方法，旨在改善多任务训练、零样本和少样本情况下的性能，并提供可以处理各种形式的结构化数据的统一表示，例如表格、知识图谱三元组和意义表示。我们证明了我们提出的方法可以有效适应新的结构化形式，并在性能上优于当前的方法。

    Aug, 2023

  • 预训练语言模型中数据到文本生成的困难之处是什么？

    本文对预训练语言模型和自回归预训练语言模型在 DART 数据集上的 D2T 任务表现进行实证研究，考虑了任务数据量的大小，以及零样本和少样本学习以及模型微调等方式，研究表明需要更多仔细手工策划的数据集来改善基于此的 D2T 生成任务。

    May, 2022

  • 通过组件对齐测量和提高文本到 SQL 中的组合通用性

    本文介绍了如何通过分句和 SQL 子句的注释构造一个新的数据集 Spider-SS，然后将 sub-sentences 不同组合构成一个新的数据集 Spider-CG，用于测试模型的组成泛化能力。实验表明，现有模型在 Spider-CG 上表现出显著的性能下降，我们改进了一些最先进的模型在 Spider-SS 上进行训练，提高了泛化性能。

    May, 2022