Jun, 2024

通过上下文学习和反馈实现精细化可控的文本生成

PDF
TL;DR我们提出了一种方法，用于将输入的句子重写为特定的非平凡语言特征值，如依赖深度，并且与以往的工作相比，我们的方法使用上下文学习而非微调，使得它适用于数据稀缺的情况下，并且我们展示了我们的模型能够准确重写并匹配现有的将句子重写为指定学校年级水平的技术水平。
发现论文，激发创造
  • 个性化文本生成与细粒度语言控制

    对于控制细粒度属性的文本生成研究，本文通过引入新的基准测试，系统调查了不同大型语言模型在生成个性化文本方面的性能，并从影响性能的因素中获得了一些见解。

    Feb, 2024

  • 指令调优时代的可控文本生成

    基于 Instruction-tuned 模型的可控文本生成，使用基于提示的方法超过了其他可控文本生成方法，在大多数数据集和任务上匹配人类表现，突出了对更多约束和具有挑战性的风格任务的研究的需求。

    May, 2024

  • Facts2Story：通过关键事实控制文本生成

    该研究提出了一个基于自然语言的控制生成任务，可将一系列事实扩展为更长的叙述，并通过引入人类评估指标和大型训练数据集的方法评估了三种方法，证明了自回归的单向语言模型如 GPT2 的生成流畅度更好，但很难遵循所请求的事实，提出了一个基于计划和填空模型的解决方案（使用精细调整的 XLNet），其生成流畅度有竞争力，同时遵循所请求的内容。

    Dec, 2020

  • 对话回复生成的上下文依赖指令调整

    通过上下文指导生成回复的语言模型在多轮对话生成任务中取得了令人瞩目的成果，通过对指令进行微调并将其与输入对齐，可以显著提高生成性能。

    Nov, 2023

  • 基于可衡量文本生成的内容传递方法研究

    该研究提出了内容转移技术，该技术可以在长文本生成中通过引用外部文本源，例如新闻报道，生成适合文本上下文并富含内容的下一句话。我们在 Wikipedia 数据上的实验结果显示出明显的改进，并在此次研究中发布了 640K Wikipedia 参考句子及源文章的基准数据集。

    May, 2019

  • 控制生成文本的发展

    本文旨在通过学习简化的语义分离潜在表示来生成和控制自然语言句子，同时通过变分自编码器和全局属性判别器的组合来建立新的神经生成模型。该模型具有可解释性和高效性，可以生成符合要求的具有各种属性的句子。量化评估验证了该模型的生成准确性。

    Mar, 2017

  • 关于文体改写需要上下文模型和评估的重要性

    本文着重于文本的形式、毒性和情感转移任务，并提出了将上下文信息应用于文本改写的方法，比较了有上下文和无上下文改写的效果，并通过新型语言模型 GPT-3.5 和 GPT NeoX 进行实验比较，结果表明，上下文改写会更符合人类的阅读习惯，但并不一定反映在自动评测指标上。因此，也提出了通过融合上下文信息来优化常见的自动评测指标，以更好地反映人类偏好。总的来说，本文强调了将上下文信息应用于文本改写和评测的重要性。

    May, 2023

  • 面向开放域创造力和公平性的可控文本生成

    本文介绍了一些控制文本生成的方法以增强语言生成模型的创造力和公平性，包括层级生成和约束解码，并应用于故事、诗歌、比喻语言的创意生成，以及减少生成模型的社会偏见。

    Sep, 2022

  • 语法驱动的迭代扩展语言模型用于可控文本生成

    通过引入句法归纳偏差，使用依赖分析树驱动转换器模型迭代生成句子，实验证明其比 LSTM 和 Transformer 更有效，并具有可比拟的多样性且需要较少的解码步骤，生成过程允许对生成文本的句法构造进行直接控制，从而实现风格变形的归纳。

    Apr, 2020

  • 带自然语言指令的可控文本生成

    本文介绍了一种控制生成文本的框架 InstructCTG，通过自然语言描述和约束条件的演示，将各种内在约束条件融入预训练语言模型中，以达到对生成文本的控制和优化。

    Apr, 2023