Nov, 2023

通过基于分数的渐进编辑器对黑盒语言模型进行可控文本生成

PDF
TL;DR通过引入 ScoPE（基于评分的渐进编辑器）生成，我们提出了一种用于黑盒语言模型的受控文本生成的新方法，通过将其与语言模型集成，逐步编辑中间生成的离散令牌以与目标属性对齐，从而增强目标领域的文本得分。实验证明 ScoPE 在控制文本生成方面具有有效性，无论是在领域内还是领域外的情况下，对于现有方法都具有挑战性。
发现论文，激发创造
  • 语法驱动的迭代扩展语言模型用于可控文本生成

    通过引入句法归纳偏差，使用依赖分析树驱动转换器模型迭代生成句子，实验证明其比 LSTM 和 Transformer 更有效，并具有可比拟的多样性且需要较少的解码步骤，生成过程允许对生成文本的句法构造进行直接控制，从而实现风格变形的归纳。

    Apr, 2020

  • 一种插拔式控制文本生成方法

    通过向语料库单词的概率分布添加位移来控制语言生成，能保证给定的关键词出现，相比类似方法具有更高的效果。

    Sep, 2021

  • 面向开放域创造力和公平性的可控文本生成

    本文介绍了一些控制文本生成的方法以增强语言生成模型的创造力和公平性，包括层级生成和约束解码，并应用于故事、诗歌、比喻语言的创意生成，以及减少生成模型的社会偏见。

    Sep, 2022

  • 无监督可控文本形式化

    本文提出了一种新颖的可控自然语言转换框架，通过深度神经编码 - 解码器和辅助模块的加强以及基于自然语言处理工具的评分器来实现无监督训练，将其应用于正式化文本的任务中，实验表明该模型在转换文本并引入适当的正式设定方面表现良好，代码和数据集已供学术使用。

    Sep, 2018

  • 带多限制条件的文本生成连续优化控制

    提出了一种名为 MuCoCO 的算法，通过将编码过程转化为优化问题，并通过拉格朗日乘数法和梯度下降技术生成期望的文本，从而实现对预训练模型生成文本属性的控制。在可控机器翻译和风格转移方面的实验表明，该方法显著优于基准模型。

    Aug, 2021

  • 指令调优时代的可控文本生成

    基于 Instruction-tuned 模型的可控文本生成，使用基于提示的方法超过了其他可控文本生成方法，在大多数数据集和任务上匹配人类表现，突出了对更多约束和具有挑战性的风格任务的研究的需求。

    May, 2024

  • EditEval：面向文本改进的基于指令的基准测试

    本文提出 EditEval：一种以指令为基础的评测套件，利用高质量的现有和新数据集自动评估编辑能力，证明了 InstructGPT 和 PEER 的表现最佳，而大多数基线都低于监督学习 SOTA，本文通过这个基准的发布和公开可用的排行榜挑战，希望能够解锁未来发展能够进行迭代和更可控编辑的模型的研究。

    Sep, 2022

  • 使用文本编辑模型生成文本

    本文介绍了文本编辑模型和 seq2seq 模型，分析了它们的优缺点，探讨了生产化和应对文本生成中的幻觉和偏见等挑战。

    Jun, 2022

  • 指令式文本编辑

    本研究通过提出一种交互式文本生成设置，在其中用户通过向系统发出编辑现有文本的命令与系统进行交互，来解决神经文本生成中一次生成的局限性，并介绍了一种新的文本编辑任务。通过使用 Wikipedia 中的单句编辑构成了一个名为 WikiDocEdits 的数据集，使用基于 transformer 的模型在其中进行训练以提高其自动产生的成果和用户评估结果。在此基础上，本研究分别从经验和定性分析方面展示了该模型的性能表现。

    Oct, 2020

  • 通过模拟多个领域和语言中的自然拼写错误，实现生成式拼写纠正的方法论

    我们提出了一种对生成模型进行拼写纠错的方法，该方法通过研究文本中的自然拼写错误和打字错误，探索了模拟这些错误在正确句子中的方式，以有效丰富生成模型的预训练过程，并研究了这些模拟对模型能力的影响与文本域的关系。

    Aug, 2023