Jul, 2023

科学可控文本生成方法的进展

PDF
TL;DR本文提供了一个新的方案，用于有控制的文本生成。通过描述各种调节策略，作者阐述了七个关键组成部分的控制生成方法。该文的目的是为基于这些组成部分的新体系结构提供理论和定量分析，并将来通过实证研究对它们的优劣进行比较。
发现论文，激发创造
  • 探索可控文本生成技术

    本文研究神经可控文本生成的新架构和技术，将其生成过程分为五个模块，分析不同技术的优缺点，为基于这些模块组合的新架构铺平道路。

    May, 2020

  • 基于 Transformer 预训练语言模型的可控文本生成综述

    本文系统评述了基于预训练语言模型的可控文本生成技术的主要任务、方法和评价方法，并讨论了当前领域面临的挑战和未来研究方向。

    Jan, 2022

  • 面向开放域创造力和公平性的可控文本生成

    本文介绍了一些控制文本生成的方法以增强语言生成模型的创造力和公平性，包括层级生成和约束解码，并应用于故事、诗歌、比喻语言的创意生成，以及减少生成模型的社会偏见。

    Sep, 2022

  • 指令调优时代的可控文本生成

    基于 Instruction-tuned 模型的可控文本生成，使用基于提示的方法超过了其他可控文本生成方法，在大多数数据集和任务上匹配人类表现，突出了对更多约束和具有挑战性的风格任务的研究的需求。

    May, 2024

  • 无监督可控文本形式化

    本文提出了一种新颖的可控自然语言转换框架，通过深度神经编码 - 解码器和辅助模块的加强以及基于自然语言处理工具的评分器来实现无监督训练，将其应用于正式化文本的任务中，实验表明该模型在转换文本并引入适当的正式设定方面表现良好，代码和数据集已供学术使用。

    Sep, 2018

  • 计划 - 生成：通过计划控制数据到文本的生成

    本研究提出了一种 Plan-then-Generate（PlanGen）框架，以改善神经数据生成文本模型的可控性，并通过两个基准数据集 ToTTo 和 WebNLG 进行了广泛的实验和分析，结果显示，我们的模型能够控制生成输出的句内和句间结构，而且与先前的最先进方法进行了实证比较，显示出我们的模型提高了生成质量以及人机评估的输出多样性。

    Aug, 2021

  • 序列控制文本生成

    本文研究 GPT-2 在生成长度较长的文档时缺乏结构性的问题，提出了一种新的控制文本生成任务 — 顺序控制文本生成，并确定了一个数据集 NewsDiscourse 作为该任务的起点。通过测试不同程度的结构意识，表明具有更高的结构意识可以提高控制准确性、语法合理性、连贯性和主题性，并接近于人类的写作业绩。

    Jan, 2023

  • 可控文本生成的因果透视

    本论文从因果的角度出发，提出了一种由结构性因果模型构建的可控文本生成框架，并将其应用于集中控制性文本生成领域的实践，实验表明该方法在控制准确性和减少偏差方面具有优势。

    Jan, 2022

  • 控制生成文本的发展

    本文旨在通过学习简化的语义分离潜在表示来生成和控制自然语言句子，同时通过变分自编码器和全局属性判别器的组合来建立新的神经生成模型。该模型具有可解释性和高效性，可以生成符合要求的具有各种属性的句子。量化评估验证了该模型的生成准确性。

    Mar, 2017

  • 面向科学推理的可控表格到文本生成

    我们提供了一个生成符合用户偏好的流畅且逻辑一致的科学表格数据描述的新任务，并通过构建一个具有高亮单元格和相应专业知识库的数据集，为这个方向的研究提供了基准，并提出了一种优于竞争方法的新架构。结果显示，大型模型在生成与用户偏好一致的准确内容方面存在困难。作为首创，我们的工作有望推动科学领域的进一步研究。

    Dec, 2023