ACLFeb, 2024

CEV-LM：控制编辑向量语言模型用于塑造自然语言生成

PDF
TL;DR本文介绍了 CEV-LM，一种轻量级半自回归语言模型，利用约束编辑向量来控制文本的速度、音量和曲折度这三个衡量文本形状的指标，研究表明 CEV-LM 能够更精确地控制这三个指标，同时保持语义内容、使用更少的训练数据和参数。
large-scale language modelstext generationcontrol approachescev-lmpacing
发现论文，激发创造
  • 线性受控语言生成与执行保证

    使用控制性语言生成策略，通过对概念语义的线性表示在潜空间中实现文本生成的量化处理，以确保性能保证，并通过在闭合形式中计算的小型无梯度干预实现动态轨迹偏离不希望的含义区域，从而避免不良内容并保持文本质量。

    May, 2024

  • Locate&Edit: 基于能量的文本编辑技术用于高效、灵活和真实的可控文本生成

    通过利用黑盒语言模型的文本输出，以生成的文本中最相关的部分为约束进行编辑，Locate&Edit (L&E) 提出了一种有效而灵活的能量模型方法，既能保留基本语言模型的原始生成结果，又能满足相关的约束条件。

    Jun, 2024

  • 语法驱动的迭代扩展语言模型用于可控文本生成

    通过引入句法归纳偏差，使用依赖分析树驱动转换器模型迭代生成句子，实验证明其比 LSTM 和 Transformer 更有效，并具有可比拟的多样性且需要较少的解码步骤，生成过程允许对生成文本的句法构造进行直接控制，从而实现风格变形的归纳。

    Apr, 2020

  • 利用大型语言模型预测编辑操作来减少序列长度

    本文提出一种通过预测编辑操作集合来实现本地序列转导任务的方法，并使用指令调整来对大型语言模型进行监督学习，实验证明该方法在常见任务中具备与基线模型相当的性能，同时可将目标文本长度缩小 21%。

    May, 2023

  • 一种基于分布式的控制文本生成方法

    本文提出一种基于分布式方法的控制文本生成方案，旨在在单个形式框架中指定 “点对点” 和 “分布式” 约束，实现与初始 LM 分布 KL 散度最小的目标 LM 的训练。同时，基于 Energy-Based Model 表示确定最优目标分布。该方案通过自适应分布式模型改进了 Policy Gradient. 作者在实验中表明，该方案在满足约束方面较其它方法具有优势。实验结果还表明该方案应对了语言模型中 “偏见” 的问题。

    Dec, 2020

  • 通过语言模型算术控制文本生成

    使用模型算术，我们可以对大型语言模型进行组合和偏置，同时使得生成的文本具有更精确的控制，并且在毒性减少任务上表现优于现有技术。

    Nov, 2023

  • 从 Tarzan 到 Tolkien：控制 LLMs 的语言熟练程度用于内容生成

    探讨利用大型语言模型（LLMs）控制文本难度的问题，在不完全精通的终端用户环境中（如语言学习者），通过使用新颖框架评估了几种关键方法的效果，包括少样本提示、监督微调和强化学习（RL），使用 GPT-4 和 LLama2-7B、Mistral-7B 等开源替代品。我们的发现揭示了在使用基于提示的策略时，GPT-4 和开源模型之间存在很大的性能差距。然而，我们展示了如何通过精调和 RL 对齐的谨慎组合来弥合这一差距。我们最佳的模型，CALM（CEFR 对齐语言模型），在仅成本的一小部分下超越了 GPT-4 和其他策略的性能。我们通过小规模的人工研究进一步验证了我们结果的质量。

    Jun, 2024

  • 大型语言模型的多目标语言控制

    通过细调用于现有数据的多控制调优方法，本文提出一种能够精确控制大语言模型输出的多个语言复杂性的方法。实验证明该方法不仅显著改善了大语言模型的多复杂性可控性，还保持甚至提升了响应质量。

    Jun, 2024

  • 基于多模多层转换器的语言视频编辑

    本文介绍了一种基于语言的视频编辑任务（LBVE），并提出了一个多模态多级变换器（M^3L）来进行语言指导下的视频编辑，实现了视频感知和语言语义的动态学习，并取得了良好的实验结果和应用前景。

    Apr, 2021

  • 用表示编辑来对齐大型语言模型：一个控制的观点

    通过表示编辑的方法，提出了一种通过在预训练的自回归大型语言模型上引入外部控制信号，以实现特定目标对齐的方法，实验证明该方法在测试时间上优于现有的测试时间对齐技术，并且相对于微调方法需要较少的资源。

    Jun, 2024