Dec, 2021

NeuroLogic A * 式解码：带有前瞻启发式的受限文本生成

PDF
TL;DR本研究提出了 NeuroLogic A*esque 算法，结合 A * 算法的启发式估计了将来的成本，实现了在给定复杂约束条件下的语言模型解码，证明其在五个生成任务中的优越性能并创造了新的最先进的性能，特别是在复杂的约束满足任务和少样本或零样本情况下。
neural text generationautoregressive language modelsneurologic a*esqueconstrained generationa* algorithm
发现论文，激发创造
  • 神经逻辑解码：带谓词逻辑约束的 (非) 监督神经文本生成

    应用 NeuroLogic Decoding 算法可以实现满足复杂词汇约束条件下的流畅文本生成，其性能优于以往算法，特别是适用于无监督训练的模型。

    Oct, 2020

  • 神经机器翻译中基于动态波束分配的快速词汇约束解码

    该论文旨在介绍一种新的机器翻译解码算法 —— 词汇约束解码法，该算法能够快速而准确地在输出中包含预定的单词和短语，并探索模型与 BLEU 得分之间的关系，与此同时它还能够极大地优化计算复杂性。

    Apr, 2018

  • 解锁预期文本生成：一种受限方法用于大型语言模型的忠实解码

    通过将文本生成问题形式化为未来约束生成问题，以最小化不良行为并确保指令的忠实执行，本文介绍了利用 LLM 的未来约束满足估计来指导文本生成过程的方法，并通过对关键词受限生成、有害性降低和问答中的事实正确性等三个不同的文本生成任务进行了广泛的实验，证明了该方法的有效性。

    Dec, 2023

  • 具有逻辑约束的自回归模型的伪语义损失

    神经符号人工智能（Neuro-symbolic AI）通过在神经网络的输出分布上最大化符号约束的可能性来弥合纯符号和神经学习方法之间的差距。为了应用神经符号学习于更具表达能力的自回归分布，例如转换器，我们提出了一种在随机的局部近似上对其进行约束的方法。我们的方法是分解的，允许重用子问题的解决方案，进而有效地计算神经符号误差，并且是局部的高保真度近似，具有低熵和 KL 散度，改进了基本模型预测逻辑一致输出的能力，也在大型语言模型去毒化任务方面取得了先进技术水平。

    Dec, 2023

  • 使用格点进行大规模文本生成的解码

    本研究提出了一种搜索算法，采用重构解码作为最佳优先搜索，并重新考虑了假设重组的想法，通过在搜索期间识别并合并相似的文本生成候选项，构建了许多多样化的文本生成选项，并在文本摘要和机器翻译上表现出很好的效果。

    Dec, 2021

  • 准确引导 LLMs 的快速非侵入式约束生成

    为了确保大型语言模型生成的文本符合预期格式，本论文提出了一种名为 DOMINO 的创新解码算法，能够以完全子词对齐的方式执行约束，同时利用预计算和推测解码来几乎不增加开销，有时甚至实现接近 2 倍的速度优化，从而在很大程度上胜过现有方法。

    Feb, 2024

  • 可控的自回归语言生成

    本文提出了一种名为 GeLaTo 的方法，使用可解释的概率模型来强制进行文本生成中的词汇约束，通过使用精简的隐性马尔可夫模型控制 Generative Pre-trained Transformer 2（GPT2）的自回归生成，GeLaTo 在 constrained text generation 的 CommonGen 测试效果上大幅度击败了强大的基准模型，并为控制大型语言模型开辟了新的思路，并推动可解释的概率模型的发展。

    Apr, 2023

  • 使用术语约束的神经机器翻译解码

    本研究描述了基于有限状态机和多堆栈解码的受约束神经机器翻译解码方法，支持目标端约束以及对应对齐输入文本跨度的约束条件，在多个翻译任务上表现出较好的性能，通过注意力受约束解码的方式减少用户约束翻译时的错置和重复。

    May, 2018

  • 大型语言模型的有约束文本生成的综合评估

    通过在大型语言模型中引入详细的约束条件，本研究调查了约束文本生成的问题，并对多个语言模型进行了分类和评估，旨在为未来的约束文本生成提供启示。

    Oct, 2023

  • 带语言约束的可控文本生成

    本篇论文提出了使用自然语言指定限制条件的语言模型的文本生成任务，并创建了挑战性的基准 Cognac。我们提出了一种名为 CognacGen 的方法，旨在利用语言模型的内部知识来引导生成，它可以成功地推广到未看到的指令，并在生成符合限制的文本方面优于竞争基线。

    Dec, 2022