Jun, 2021

AGGGEN: 生成过程中的排序和聚合

PDF
TL;DR本研究提出了 AGGGEN，一种数据到文本模型，重新引入了两个明确的句子规划阶段到神经数据到文本系统中：输入排序和输入聚合。我们的模型仍然是端到端的： AGGGEN 通过学习输入表示和目标文本之间的潜在对准（通过语义事实）在生成文本的同时执行句子规划。在 WebNLG 和 E2E 挑战数据上的实验表明，通过使用基于事实的对齐，我们的方法更可解释，更具表达性，对噪声更具鲁棒性，更易于控制，同时保留端到端系统在流畅度方面的优势。
agggendata-to-text modelsentence planningend-to-end systemlatent alignment
发现论文，激发创造
  • 异步图生成器

    我们介绍了一种新颖的异步图生成器（AGG），它是一种多通道时间序列的图神经网络体系结构，通过将观测值建模为动态图上的节点，并通过传导节点生成来执行数据插补。AGG 在节点中直接使用可学习的嵌入表示测量值、时间戳和元数据，然后利用注意力来学习感兴趣的变量之间的表达关系，从而隐含地学习传感器测量值的因果图表示。该模型在北京空气质量、PhysioNet 2012 挑战和 UCI 本地化的基准数据集上，在时间序列数据插补、分类和预测方面取得了最先进的结果。

    Sep, 2023

  • 基于神经网络的语言生成：使用基于 RNN 编码器 - 解码器与语义聚合技术进行对话

    本文提出了一种基于编码 - 汇聚 - 解码的深度学习模型，其中语义汇聚器是由 Aligner 和 Refiner 两个组件组成的注意力机制，用于选择和聚合语义元素，实现自然语言生成，实验证明该模型在四个不同的自然语言生成领域中性能均优于之前的方法。

    Jun, 2017

  • 计划 - 生成：通过计划控制数据到文本的生成

    本研究提出了一种 Plan-then-Generate（PlanGen）框架，以改善神经数据生成文本模型的可控性，并通过两个基准数据集 ToTTo 和 WebNLG 进行了广泛的实验和分析，结果显示，我们的模型能够控制生成输出的句内和句间结构，而且与先前的最先进方法进行了实证比较，显示出我们的模型提高了生成质量以及人机评估的输出多样性。

    Aug, 2021

  • 内容选择与规划的数据转文本生成

    本文提出了一种神经网络体系结构，它在不牺牲端到端训练的前提下，结合了内容选择和计划，通过将生成任务分解为两个阶段，根据数据记录生成内容计划并生成文档，在自动化和人类试验中都取得了优越表现，从而提高了最近发布的 RotoWire 数据集的最新技术。

    Sep, 2018

  • 逐步：在神经数据到文本生成中分离规划和实现

    将数据转文本生成过程拆分为符号文本计划和神经生成两个阶段，通过匹配参考文本和选择高质量文本计划提高系统的可靠性和适用性，同时保持流畅的输出。在 WebNLG 基准测试中得到了 BLEU 得分和人工评估的改善，并能够输出同一输入的多种不同的实现，为生成文本结构的显式控制铺平了道路。

    Apr, 2019

  • 数据到文本生成的端到端内容和计划选择

    本文介绍了多种扩展序列 - 序列模型的方法，旨在解决从结构化数据中生成流畅自然语言的问题，特别关注潜在内容选择过程的变体，包括复制注意力和覆盖解码。我们提出了一种基于多样集成的训练方法，以鼓励模型在训练过程中学习不同的句子模板，并通过比较其生成的文本在五个自动度量标准和人类评估中的结果，表明这些技术可以提高生成文本的质量。

    Oct, 2018

  • 基于结构化数据的订单规划神经文本生成

    研究人员提出了一种基于训练有素的神经网络的文本生成模型，以便从结构化数据中（例如表格）生成自然文本，该模型能够捕捉不同字段之间的关系，以生成更流畅的文本。

    Sep, 2017

  • 基于计划的神经数据到文本生成的质量和效率提升

    本文从 Moryossef et al （2019）所提出的步骤式神经数据到文本生成方法出发，通过引入可训练的神经计划组件、打字提示、排序确认阶段和简单而有效的指代表达式生成模块的四个扩展，实现了一个更快，更流畅和更准确的生成过程。

    Sep, 2019

  • 变分序列计划数据生成技术

    本论文考虑数据到文本生成的任务，着重提出了一种生成长篇文章的神经模型，增加了计划组件来组织高层次信息，在结构化变分模型的帮助下逐步推理出潜在计划，从而生成文本。在 RotoWire 和 MLB 两个数据到文本基准测试中，本模型表现优于基准模型，并且在训练数据有限的情况下具有较高的样本效率。

    Feb, 2022

  • AudioGen: 基于文本指导的音频生成

    本文提出了一种基于文本输入生成音频的生成模型，使用数据增强技术和多流建模来减轻音频生成中的诸多挑战，包括文本注释的稀缺性、高保真音频编码和多个音频源的难以分辨等，并实现了比其他基准模型更好的音频生成效果。

    Sep, 2022