COLINGJun, 2023

大多数语言模型也可以成为诗人：一款 AI 写作助手和约束文本生成工具

PDF
TL;DR本文介绍一种简单又通用的方法，通过为语言模型的词汇表组合应用筛选函数来修改文本生成单元前的语言模型的输出，以实现对语言模型输出的调整。研究者正式开发了一个名为 CTGS 的 AI 创作助手，让用户可以根据需要使用多种限制条件生成文本，还介绍了一个新颖的 Prose 数据集模型，以及一个名为 Gadsby 的网络应用实现该技术。研究表明，这种方法相比单纯的微调，对拥有文字 e 的 Prose 数据集表现更优异。
constrained natural language generationlanguage modelsfilter functionsai writing assistantdataset
发现论文，激发创造
  • 大型语言模型的有约束文本生成的综合评估

    通过在大型语言模型中引入详细的约束条件，本研究调查了约束文本生成的问题，并对多个语言模型进行了分类和评估，旨在为未来的约束文本生成提供启示。

    Oct, 2023

  • 带语言约束的可控文本生成

    本篇论文提出了使用自然语言指定限制条件的语言模型的文本生成任务，并创建了挑战性的基准 Cognac。我们提出了一种名为 CognacGen 的方法，旨在利用语言模型的内部知识来引导生成，它可以成功地推广到未看到的指令，并在生成符合限制的文本方面优于竞争基线。

    Dec, 2022

  • 限制性神经语言生成为什么特别具有挑战性？

    该研究论文系统梳理了存在于神经语言生成技术中的问题，并分别从文本生成任务、方法和评估度量指标三个方面，详细阐述了约束条件和条件约束这两种情况，并总结了当前约束神经语言生成技术的研究进展和面临的主要挑战，以期提高该领域的技术水平。

    Jun, 2022

  • 改变 Transformer 的思想以实现主题可控语言生成

    该研究设计了一个交互式写作辅助框架，它利用基于 Transformer 的语言模型为作者提供可能的续写文本主题，并允许作者选择其中一部分以引导生成，研究表明该框架的主题选择比标准的聚类方法更好且自监督的训练能够产生流畅且相关的句子。

    Mar, 2021

  • 带自然语言指令的可控文本生成

    本文介绍了一种控制生成文本的框架 InstructCTG，通过自然语言描述和约束条件的演示，将各种内在约束条件融入预训练语言模型中，以达到对生成文本的控制和优化。

    Apr, 2023

  • 解锁预期文本生成：一种受限方法用于大型语言模型的忠实解码

    通过将文本生成问题形式化为未来约束生成问题，以最小化不良行为并确保指令的忠实执行，本文介绍了利用 LLM 的未来约束满足估计来指导文本生成过程的方法，并通过对关键词受限生成、有害性降低和问答中的事实正确性等三个不同的文本生成任务进行了广泛的实验，证明了该方法的有效性。

    Dec, 2023

  • 纠缠的 CP 与 NLP：不合理受限句子的生成

    约束文本生成问题是一个困难的任务，本文提出了一种以约束为先的框架来解决这个问题，并通过约束编程方法将语言属性与其他经典约束相结合，实现了成功生成高度约束文本的效果。该方法在一个新的高度约束的文本生成问题上展示了潜力。

    Jun, 2024

  • ModelGPT: 发挥 LLM 的能力进行定制模型生成

    通过使用 Large Language Models (LLMs)，我们提出了 ModelGPT 框架，以满足用户的特定需求，并以更快的速度生成定制化的 AI 模型，以实现更加便利和用户友好的人工智能模型。

    Feb, 2024

  • 面向开放域创造力和公平性的可控文本生成

    本文介绍了一些控制文本生成的方法以增强语言生成模型的创造力和公平性，包括层级生成和约束解码，并应用于故事、诗歌、比喻语言的创意生成，以及减少生成模型的社会偏见。

    Sep, 2022

  • 浪漫计算

    本文比较了各种文本生成模型在写作早期英国浪漫主义诗歌方面的能力，通过系统测试和 GRUEN 评估指标，发现变压器模型的质量明显优于递归神经网络模型，并随着参数大小的增加而进一步提高。

    Jun, 2022