Aug, 2024

可控文本生成的最新进展：大型语言模型的调查

HTML
PDF
TL;DR本文解决了大型语言模型在实际应用中对文本生成质量和用户需求的多样化要求的不足。通过系统性回顾可控文本生成（CTG）技术的最新进展，本研究提出了对CTG核心概念的全面定义，并分类讨论了内容控制和属性控制两大任务。研究显示，CTG方法的有效性提升了文本生成的安全性、情感一致性以及风格丰富性，为未来研究提供了重要参考和实践建议。
发现论文，激发创造
  • CTRL: 条件可控的Transformer语言模型生成器

    发布了一个1.63亿参数的条件变换器语言模型CTRL，它被训练用于控制由结构派生而来的控制代码来控制风格、内容和任务特定行为，从而提供更明确的文本生成控制。

    Sep, 2019

  • 基于Transformer预训练语言模型的可控文本生成综述

    本文系统评述了基于预训练语言模型的可控文本生成技术的主要任务、方法和评价方法，并讨论了当前领域面临的挑战和未来研究方向。

    Jan, 2022

  • FAST: 基于反馈感知自训练的文本生成控制性改进

    这篇论文针对控制文本生成算法中可能存在的潜在问题，利用因果推断技术发现了训练数据中的关联错误，提出通过倾向得分采样和反事实版本生成机制消除这些关联，实验结果表明该方法在生成性能和语言品质上都得到了显著提升。

    Oct, 2022

  • 自动人工智能互动文本生成

    本教程关注于文本生成，这是一类自然语言生成任务，它以一段文本作为输入，然后生成一篇按照某些特定标准（如可读性或语言风格）改进的修订版本，同时保留原版文本的大部分含义和长度。

    Oct, 2023

  • 通过语言模型算术控制文本生成

    使用模型算术，我们可以对大型语言模型进行组合和偏置，同时使得生成的文本具有更精确的控制，并且在毒性减少任务上表现优于现有技术。

    Nov, 2023

  • 个性化文本生成与细粒度语言控制

    对于控制细粒度属性的文本生成研究，本文通过引入新的基准测试，系统调查了不同大型语言模型在生成个性化文本方面的性能，并从影响性能的因素中获得了一些见解。

    Feb, 2024

  • 基于解析驱动的修辞控制方法的语言模型句子补全

    该研究提出了一种新颖的控制文本生成算法，通过解析驱动的解码方案，在大型语言模型的句子填充上下文中强制执行特定修辞关系，无需模型微调。该方法经过了自动和人工评估的验证。

    Feb, 2024

  • 大型语言模型的动态属性图控制文本生成

    控制性文本生成旨在生成具有特定期望属性的文本。本研究中，我们介绍了一种用于大型语言模型的可插拔的控制性文本生成框架（DATG），名为动态属性图控制性文本生成。该框架利用属性评分器评估语言模型生成的句子的属性，并构建动态属性图。DATG通过调节关键属性词和关键反属性词的出现频率，在不损害模型原始能力的情况下实现了有效的属性控制。我们在两个任务的四个数据集上进行实验：毒性缓解和情感转换，并使用五种语言模型作为基础模型。我们的发现突出了控制精度的显著提高，在四个数据集中最优任务上改进了19.29％。此外，我们观察到困惑度显著减少，文本流畅性得到显著改善。

    Feb, 2024

  • 动态和可控的文本生成的连续语言模型插值

    使用线性权重插值的自适应方法来控制和适应大型语言模型，以实现对模型输出的可预测且精细的控制。

    Apr, 2024

  • 评估利用LLMs进行文本生成中属性强度的平滑控制

    大语言模型（LLM）的平滑控制在文本生成中具有重要意义，本论文提出了评估生成文本属性强度范围、校准度和一致性以及其与预期语境的相关性的度量指标，通过引入Elo评级系统和GPT4的评估方法来量化属性强度和上下文相关性，并研究了两种无需训练的实现语言模型平滑控制的方法：使用语义转换器进行提示和修改内部模型表示。

    Jun, 2024