CVPRJun, 2024

DocSynthv2：面向文档生成的实用自回归建模

PDF
TL;DR通过开发一种简单且有效的自回归结构模型，本文在探索综合文档生成，即包括布局和内容的文档生成的更复杂挑战方面提出了名为 DocSynthv2 的新方法，通过关注文档内结构元素与文本内容之间的关系，我们旨在生成连贯且与上下文相关的文档，不依赖于视觉组件，实验证明了我们的模型在提高文档生成质量和相关性方面结合布局和文本信息的能力，为文档创建和自动设计的研究开辟了新的路径。
发现论文，激发创造
  • 通过建模远期来提升对抗文本生成

    我们考虑一个文本规划方案，提出了一种基于模型的模仿学习方法，其中包括新颖的指导网络来关注更长时间内的生成过程，改善了局部流畅性和一致语义的问题，并带来了性能上的提升。

    May, 2020

  • 递归自编码器用于文档布局生成

    本文提出了一种名为 READ 的新框架，利用递归自动编码器生成大量和多样的文档 2D 布局，其中采用了一种递归的方法来提取文档的结构分解，并利用标注边界框的文档数据集对此进行了学习，从而获得了结构表示形式，并将其映射到高斯空间，从而生成新的文本布局，同时，还引入了一种组合度量来测量文档布局之间的结构相似性，并证明了所生成文档布局的高可变性和实际性，在文本检测任务中证明了所生成布局的作用。

    Sep, 2019

  • 利用潜在语言扩散模型生成多样化段落的规划器

    本文提出了组合自回归生成模型与潜在语义扩散的 PLANNER 模型用于全局控制段落文本生成，并在各种条件生成任务上进行了评估。结果表明，该方法有效地生成了高质量的长篇文本。

    Jun, 2023

  • AR-Diffusion: 自回归扩散模型用于文本生成

    介绍了一种新的生成文本的方法 - 自回归扩散 (AR-Diffusion)，它通过引入动态去噪步骤来解决自然语言中的顺序依赖问题，在各种文本生成任务中表现优异。

    May, 2023

  • 具有基于文档信息的分布式先验的神经自回归主题模型

    我们提出了一种新颖的神经自回归主题模型，利用语言建模方式中单词周围的完整上下文信息进行学习，同时将嵌入作为分布式先验知识引入模型，这两个扩展可以处理短文本情况并提高主题模型的一般性、可解释性和适用性。

    Sep, 2018

  • 自动文档草图：从类似文本生成草稿

    本文介绍了一种新的任务：文档素描，该任务涉及为作者生成完整的草稿文件以供查看和修订，并介绍了基于维基百科的类似文件的数据集，以及弱监督方法（包括基于变压器的专家混合体和强化学习）的应用。通过自动化和人工评估方法对实验进行了报告，并讨论了这些模型的相对优点。

    Jun, 2021

  • 自回归搜索引擎：生成子字符串作为文档标识符

    提出利用自回归模型生成和打分 n 元组，并通过高效的数据结构将其映射到完整段落的检索方案，相较于其他检索方案具有更好的性能表现和更小的内存占用。

    Apr, 2022

  • SSD-LM: 基于 Simplex 扩散和半自回归的语言模型，用于文本生成和模块化控制

    本论文介绍了 SSD-LM - 一种扩散语言模型，它是半自回归的，可以迭代地生成文本块，在不适用 GPT-2 后，它在标准的质量和多样性指标上与 strong autoregressive 基线匹配或优于其性能

    Oct, 2022

  • 使用自回归扩散模型的可控运动合成和重建

    该研究介绍了 MoDiff，它是一个基于自回归概率扩散模型的运动序列生成模型，其结合了跨模式 Transformer 编码器和基于 Transformer 的解码器，以生成控制时序依赖性的动作。该模型在运动合成方面表现优异，并通过数据丢弃方法来提高数据表示和运动合成的鲁棒性。

    Apr, 2023

  • PLANET: 自回归变压器中动态内容规划用于长篇文本生成

    本文提出了 PLANET 框架，采用自回归自注意机制，结合包含词汇的句子级语义计划来动态地进行内容规划和表面实现。引入基于连贯性的对比学习目标，以进一步提高输出的连贯性。实验结果表明，我们的方法在生成较富内容的连贯文本方面优于基线方法。

    Mar, 2022