Jun, 2024

Locate&Edit: 基于能量的文本编辑技术用于高效、灵活和真实的可控文本生成

PDF
TL;DR通过利用黑盒语言模型的文本输出，以生成的文本中最相关的部分为约束进行编辑，Locate&Edit (L&E) 提出了一种有效而灵活的能量模型方法，既能保留基本语言模型的原始生成结果，又能满足相关的约束条件。
controlled text generationlocate&editenergy-based approachblack-box language modelsconstraint satisfaction
发现论文，激发创造
  • 在没有主题标签的 LLM 中编辑任意命题

    使用梯度追踪（GT）和一种简单快速的定位方法，本文介绍了一种新的大语言模型（LLM）编辑方法，使其能编辑任意命题而不仅仅是二元命题，并且无需主语标签，实验结果表明该方法在无主语标签的情况下也能达到接近最先进的方法的编辑性能；另外，还引入了一个新的数据集，名为 Factual Accuracy Classification Test（FACT），该数据集包含非二元命题，对于非通用主语标签的情况，显示出了我们的方法可以在 FACT 上进行编辑。

    Jan, 2024

  • 混合搭配：能量语言模型控制的无需学习文本生成

    本文提出了一种名为 Mix and Match LM 的生成模型框架，该框架使用全局评分的方式结合预训练模型来实现生成文本的可控性，同时采用 Metropolis-Hastings 采样算法进行采样，取得了在多项测试领域中优于其他最新方法的表现。

    Mar, 2022

  • CEV-LM：控制编辑向量语言模型用于塑造自然语言生成

    本文介绍了 CEV-LM，一种轻量级半自回归语言模型，利用约束编辑向量来控制文本的速度、音量和曲折度这三个衡量文本形状的指标，研究表明 CEV-LM 能够更精确地控制这三个指标，同时保持语义内容、使用更少的训练数据和参数。

    Feb, 2024

  • 学习编辑：将语言模型与知识编辑对齐

    知识编辑技术在大型语言模型中的应用及性能表现。

    Feb, 2024

  • 利用大型语言模型预测编辑操作来减少序列长度

    本文提出一种通过预测编辑操作集合来实现本地序列转导任务的方法，并使用指令调整来对大型语言模型进行监督学习，实验证明该方法在常见任务中具备与基线模型相当的性能，同时可将目标文本长度缩小 21%。

    May, 2023

  • 通过高效微调进行时间敏感知识编辑

    通过研究发现，Parameter-Efficient Fine-Tuning (PEFT) 技术相较于定位和编辑方法，在时效性知识编辑方面表现更优，从而为大型语言模型的更新提供了一种替代方案。

    Jun, 2024

  • 具有复制感知潜在对齐的非自回归文本编辑

    我们提出了一种新颖的非自回归文本编辑方法，通过使用潜在的 CTC 对齐模型来解决 Seq2Edit 方法中存在的生成固执性和推广到其他语言的困难问题。我们通过在编辑空间中引入复制操作对 CTC 进行关键扩展，从而更有效地处理文本重叠。我们的实验证明，我们的方法在语法错误校对和句子融合任务上明显优于现有的 Seq2Edit 模型，并且与 Seq2Seq 相比，速度提高了 4 倍以上，并在德语和俄语上表现出良好的一般化能力。深入分析揭示了我们的方法在各种情境下的鲁棒性和生成流畅灵活的输出的优势。

    Oct, 2023

  • EasyEdit: 适用于大型语言模型的易于使用的知识编辑框架

    大型语言模型（LLMs）通常存在知识截断或谬误问题，为解决此问题，我们提出了 EasyEdit，一个易于使用的 LLMs 知识编辑框架，它支持各种前沿的知识编辑方法，并在可靠性和推广性方面超过了传统微调。

    Aug, 2023

  • 大规模语言模型的鲁棒可扩展模型编辑

    利用 EREN（通过阅读笔记编辑模型）提出方法来提高大型语言模型的可伸缩性和鲁棒性，通过正确响应语法相似但语义无关的输入以及从多个修改中整合知识，优于现有技术。

    Mar, 2024

  • CoEdIT: 通过任务特定指令调整进行文本编辑

    本研究基于指令调整的 LLMs 语言模型，开发了一种名为 CoEdIT 的文本编辑模型，提供高质量和高效率的写作辅助。经过定量和量化分析，我们证明作家们更喜欢 CoEdIT 建议的编辑方式，相对于其他最先进的文本编辑模型。

    May, 2023