神经逻辑解码：带谓词逻辑约束的 (非) 监督神经文本生成
本研究提出了 NeuroLogic A*esque 算法，结合 A * 算法的启发式估计了将来的成本，实现了在给定复杂约束条件下的语言模型解码，证明其在五个生成任务中的优越性能并创造了新的最先进的性能，特别是在复杂的约束满足任务和少样本或零样本情况下。
Dec, 2021
通过受到双系统认知理论启发的 DECIDER 规则可控解码策略，本文提出了一种基于词典的约束解码方法，旨在通过特定目标概念来控制生成文本的意义或风格，实验证明 DECIDER 可以以更接近人类的方式遵循给定的规则引导生成方向，从而有效地控制生成结果。
Mar, 2024
为了确保大型语言模型生成的文本符合预期格式，本论文提出了一种名为 DOMINO 的创新解码算法，能够以完全子词对齐的方式执行约束，同时利用预计算和推测解码来几乎不增加开销，有时甚至实现接近 2 倍的速度优化，从而在很大程度上胜过现有方法。
Feb, 2024
本研究发现人类文本和机器生成文本的分布存在差异，在相同的神经语言模型下使用不同的解码策略可以显著影响文本质量，提出了一种基于动态核心采样的方法来提高生成文本的多样性和流畅性。
Apr, 2019
该论文旨在介绍一种新的机器翻译解码算法 —— 词汇约束解码法，该算法能够快速而准确地在输出中包含预定的单词和短语，并探索模型与 BLEU 得分之间的关系，与此同时它还能够极大地优化计算复杂性。
Apr, 2018
LOGICSEG 是一个综合的视觉语义解析器，它集成了神经归纳学习和逻辑推理，通过丰富的数据和符号知识，将视觉概念结构化为一个层级结构，进行层次一致的预测和逻辑推理，并通过多个数据和神经计算图来进行逻辑感知网络的训练，从而实现与现有分割模型的集成。本研究证实了 LOGICSEG 的有效性和普适性，为视觉语义解析开辟了新的途径。
Sep, 2023
本研究描述了基于有限状态机和多堆栈解码的受约束神经机器翻译解码方法，支持目标端约束以及对应对齐输入文本跨度的约束条件，在多个翻译任务上表现出较好的性能，通过注意力受约束解码的方式减少用户约束翻译时的错置和重复。
May, 2018
介绍了一种基于语言模式的分层解码自然语言生成模型，与传统的基于 RNN 和 seq2seq 的编码器 - 解码器模型相比，该模型表现更好且模型规模更小。
Aug, 2018
本论文研究了 LLMs 在信息提取等任务中生成复杂输出结构的问题，提出了一种基于形式语法约束的解码方法，通过合理的限制保证生成的符号序列能够具有语法正确性，同时在大型符号集信息提取和实体消歧方面取得了良好的效果，结果表明在缺乏训练数据、后调较为昂贵的场景下，采用基于形式语法约束的解码策略能够有效提升模型生成结构化输出的能力。
May, 2023
提出了一种从条件的基于分数的生成模型中强制执行任意逻辑约束条件进行采样的方法，采用柔性和数值稳定的神经符号框架来编码逻辑约束条件，并通过有效的启发式算法改进了近似条件采样算法的准确性。
Aug, 2023