Nov, 2023

用于高效多主题控制文本生成的继承特征

PDF
TL;DR大型语言模型（LLMs）在生成流畅和逼真的文本方面取得了令人印象深刻的性能，但控制生成的文本以展现安全性、真实性和无毒性等属性仍然具有挑战性。本研究提出了 SF-GEN，它基于两个主要概念：后继特征（SFs）用于将 LLM 的动态与任务特定奖励解耦，以及语言模型纠正以根据完成文本变为不希望的概率比例调整选择标记的概率。SF-GEN 无需改变 LLM 的参数即可实现对文本生成的动态导向，是一种在训练和解码过程中在内存和计算效率上都表现出色的方法，特别适用于处理多个目标主题。同时，我们的方法生成的语言质量与 SOTA（并且优于基准）在控制措施和语言质量方面相当，我们通过一系列各种可控文本生成任务的实验证明了这一点。
large language modelscontrolsf-gensuccessor featurestext generation
发现论文，激发创造
  • Facts2Story：通过关键事实控制文本生成

    该研究提出了一个基于自然语言的控制生成任务，可将一系列事实扩展为更长的叙述，并通过引入人类评估指标和大型训练数据集的方法评估了三种方法，证明了自回归的单向语言模型如 GPT2 的生成流畅度更好，但很难遵循所请求的事实，提出了一个基于计划和填空模型的解决方案（使用精细调整的 XLNet），其生成流畅度有竞争力，同时遵循所请求的内容。

    Dec, 2020

  • 生成具备可控语义的多样化故事延续

    我们提出了一个控制生成多个不同输出的简单有效建模框架，重点考虑了情感、长度、谓语、语义框架和自动诱导簇等几个句子属性。我们的实验结果表明：(1) 我们的框架在产生与目标控制值匹配的输出方面非常准确；(2) 与标准的 n-best 列表生成相比，我们的模型产生的最大指标得分要高；(3) 控制语义框架的生成方式能够产生更强的多样性和质量，其自动度量分数也更高。我们还进行了人类评估，以评估为创意写作提供多个建议的效用，在协作写作系统中实现可控性、多样性的生成具有很大的潜力。

    Sep, 2019

  • 面向开放域创造力和公平性的可控文本生成

    本文介绍了一些控制文本生成的方法以增强语言生成模型的创造力和公平性，包括层级生成和约束解码，并应用于故事、诗歌、比喻语言的创意生成，以及减少生成模型的社会偏见。

    Sep, 2022

  • 语法驱动的迭代扩展语言模型用于可控文本生成

    通过引入句法归纳偏差，使用依赖分析树驱动转换器模型迭代生成句子，实验证明其比 LSTM 和 Transformer 更有效，并具有可比拟的多样性且需要较少的解码步骤，生成过程允许对生成文本的句法构造进行直接控制，从而实现风格变形的归纳。

    Apr, 2020

  • 未来视角：利用大型预训练语言模型进行动态故事生成

    本文提出了一种基于预训练生成式 transformer 网络的方法 Future Sight，以实现未来条件限制的故事生成任务，在保留自注意机制的同时，增加了对未来情节的建模，使生成内容更有逻辑性和连贯性。

    Dec, 2022

  • 改变 Transformer 的思想以实现主题可控语言生成

    该研究设计了一个交互式写作辅助框架，它利用基于 Transformer 的语言模型为作者提供可能的续写文本主题，并允许作者选择其中一部分以引导生成，研究表明该框架的主题选择比标准的聚类方法更好且自监督的训练能够产生流畅且相关的句子。

    Mar, 2021

  • 一种插拔式控制文本生成方法

    通过向语料库单词的概率分布添加位移来控制语言生成，能保证给定的关键词出现，相比类似方法具有更高的效果。

    Sep, 2021

  • 控制生成文本的发展

    本文旨在通过学习简化的语义分离潜在表示来生成和控制自然语言句子，同时通过变分自编码器和全局属性判别器的组合来建立新的神经生成模型。该模型具有可解释性和高效性，可以生成符合要求的具有各种属性的句子。量化评估验证了该模型的生成准确性。

    Mar, 2017

  • XFBoost：可控解码器优化的文本生成方法

    本文利用使用视觉语义属性作为解码阶段的限制条件和使用策略梯度技术微调语言模型的 Extract-Finetune-Boost (XFBoost) 框架，解决了准确性低、质量差的推理问题，并且在生成更符合实际、与图像更相关的文本方面优于基线方法，进一步在在线学习中展示了 XFBoost 的应用。

    Feb, 2022

  • 个性化文本生成与细粒度语言控制

    对于控制细粒度属性的文本生成研究，本文通过引入新的基准测试，系统调查了不同大型语言模型在生成个性化文本方面的性能，并从影响性能的因素中获得了一些见解。

    Feb, 2024