May, 2022

R2D2: 鲁棒性数据到文本的替换检测

PDF
TL;DRR2D2 是一种数据到文本生成的训练框架，它通过训练系统作为生成器和忠诚度鉴别器，加上替换检测和非似然性学习任务，来解决不忠实的数据到文本生成问题。我们还提出了两种采样不忠实句子的方法和 NER 基于的指标来评估 D2T 生成的保真度。实验结果表明，R2D2 系统能够有效缓解不忠实的文本生成，并在 FeTaQA、LogicNLG 和 ToTTo 上取得了新的最佳效果。
发现论文，激发创造
  • 使用自然语言推理评估数据生成文本的语义准确性

    本论文提出了一种使用预训练的自然语言推理神经模型来衡量数据到文本生成语义准确性的新度量方法，并利用该方法来检验两个方向之间的文本蕴含，从而揭示输出中的遗漏或虚构。实验证明，该指标能够在鉴定系统输出的错误方面达到高的精度。

    Nov, 2020

  • 预训练语言模型中数据到文本生成的困难之处是什么？

    本文对预训练语言模型和自回归预训练语言模型在 DART 数据集上的 D2T 任务表现进行实证研究，考虑了任务数据量的大小，以及零样本和少样本学习以及模型微调等方式，研究表明需要更多仔细手工策划的数据集来改善基于此的 D2T 生成任务。

    May, 2022

  • 高召回率的渐进式编辑数据文本生成

    该研究通过利用 Transformer 模型的 'Asymmetric Generation' 现象并结合 ProEdit 方法，提出了一种改进的 Data-to-text generation 方法，有效提高了在 ToTTo 数据集上的性能表现。

    Aug, 2022

  • 端到端神经数据文本生成：从数据到文本生成语义忠实性

    DataTuner 是一个神经网络端到端生成数据文本的系统，结合 fine-tuned 语言模型和语义保真分类器，仅需最少的数据特定启发式、实体去词法和后处理即可实现所有端到端学习，可以在多种数据集上取得最先进的结果并获得比传统启发式度量更好的语义保真度。

    Apr, 2020

  • 多源学习用于数据生成文本和文本生成数据

    本研究论文介绍了一种利用多个非同源语料库进行数据到文本和文本到数据转换的方法，通过引入具有分离风格和内容变量的 VAE 模型来解决单一来源语料库限制的问题，实现了相同甚至更好性能的数据转换。

    Feb, 2023

  • R2-D2：开放领域问答的模块化基线

    R2-D2 是一个四阶段的开放领域问答管道，由检索器、段落重新排名器、抽取读取器、生成读取器以及一个聚合所有系统组成部分的终极预测机制组成。我们在三个开放领域问答数据集上展示了其优势，并超越了前两个的最新成果。我们的分析表明：(i) 将抽取式和生成式读取器相结合可以产生达到 5 个精确匹配的绝对改进，其效果至少是使用不同参数的同一模型的后验平均集成的两倍。(ii) 在抽取式问答数据集上，具有更少参数的抽取式读取器可以与生成式读取器的表现相匹配。

    Sep, 2021

  • 从实体中心视角探索开放领域表格生成的忠实度

    本文旨在评估表格生成的忠实度，并采用两个与实体相关的度量标准来评估生成忠实度，并基于这些数据提出了两种增强训练方法和训练实例选择方法来提高生成保真度，在完整数据集和少量数据集学习中均有所改善。

    Feb, 2021

  • 多种培训策略的人工文本检测

    本篇研究提出了针对 2022 年俄罗斯人工文本检测对话共享挑战赛（RuATD 2022）的一种解决方案，即使用 DeBERTa 预训练语言模型和多种训练策略区分生成该文本的模型。在 RuATD 数据集上进行的广泛实验验证了我们所提出的方法的有效性，并且我们的提交在 RuATD 2022（多分类）的评估阶段中排名第二。

    Dec, 2022

  • DIALOG-22 RuATD 生成文本检测

    该论文介绍了一种基于注意力机制的预训练模型的集成方法，用于对生成文本进行侦测、二分类和多分类，并在二分类任务中获得了 0.82995 的准确度得分，在多分类任务中获得了 0.62856 的准确度得分。

    Jun, 2022

  • 自然语言生成数据集中数据错误的追踪和清除

    该研究提出了一种框架，利用基于对比度的算法识别和清除训练数据中的一些低质量样本，从而实现减少自然语言生成任务中的幻觉和不忠实输出的目的。

    Dec, 2022