- 大型语言模型的有约束文本生成的综合评估
通过在大型语言模型中引入详细的约束条件,本研究调查了约束文本生成的问题,并对多个语言模型进行了分类和评估,旨在为未来的约束文本生成提供启示。
- 可控的自回归语言生成
本文提出了一种名为 GeLaTo 的方法,使用可解释的概率模型来强制进行文本生成中的词汇约束,通过使用精简的隐性马尔可夫模型控制 Generative Pre-trained Transformer 2(GPT2)的自回归生成,GeLaTo - UCEpic: 统一考虑方面规划和词汇约束的可解释推荐
本文提出了一种将 aspect planning 和 lexical constraints 相结合的控制性 personalized generation 模型 UCEpic,通过该模型获得关键短语的特定信息从而大大改善了生成的解释的多样 - 鼓励神经机器翻译满足术语限制
本文提出了一种新的方法,通过训练步骤来鼓励神经机器翻译满足词汇约束,其主要包括训练数据扩充、约束词汇掩码和交叉熵损失函数修改三个方面,实验表明该方法在 BLEU 分数和生成约束词汇的数量方面均优于其他算法。
- EMNLP文本生成中的概念保留评估与改进:抽取、去噪和实施
本文通过实验证明了当前的 seq2seq 模型在重要输入概念的保留方面并不足够好,因而提出了一种简单而有效的方法 —— 使用概念作为词汇约束来保留重要输入概念。该文的方法在自动指标上表现得较好,演示了概念保护的更高覆盖率,并在人工评估中得到 - ACL神经逻辑解码:带谓词逻辑约束的 (非) 监督神经文本生成
应用 NeuroLogic Decoding 算法可以实现满足复杂词汇约束条件下的流畅文本生成,其性能优于以往算法,特别是适用于无监督训练的模型。
- ACL利用 Levenshtein 变换的受词汇约束的神经机器翻译
本文提出了一种在神经机器翻译中加入词汇约束的简单有效算法,该算法可以在推理时注入术语约束,而不影响解码速度,并且无需修改训练流程,使用自定义字典即可运行,实验结果表明,我们的方法在英德 WMT 数据集上可以提高基线和之前方法的翻译质量。
- AAAIParaBank:基于词汇约束神经机器翻译的单语种双语文本生成和句子改写
该论文介绍 ParaBank,这是一个大规模的英语释义数据集,使用神经机器翻译和词汇约束生成英语句子的多个高质量释义版本,可用于句子改写任务。
- COLING评估句向量表示中的组成
文章介绍了一种可以精确和控制地针对句向量中的组合含义信息的方法,利用一个专门的句子生成系统,创建遵循特定句法、语义和词汇约束条件的带注释的大型句子集。实验表明,这种方法能够从多种现有的句子表示模型中提取有用的信息,有助于理解这些系统对句子信 - BFGAN:用于词汇约束句子生成的前向和后向生成对抗网络
提出了一种名为 BFGAN 的新算法框架,通过使用向前和向后生成器一起生成词汇限制句子,并使用鉴别器通过分配奖励信号来指导两个生成器的联合训练,以解决向基于 RNN 的模型中直接引入词汇约束所面临的挑战。
- 神经机器翻译中基于动态波束分配的快速词汇约束解码
该论文旨在介绍一种新的机器翻译解码算法 —— 词汇约束解码法,该算法能够快速而准确地在输出中包含预定的单词和短语,并探索模型与 BLEU 得分之间的关系,与此同时它还能够极大地优化计算复杂性。
- ACL使用网格束搜索进行序列生成的词汇约束解码
介绍了 Grid Beam Search 算法,可以在任何生成序列的模型中使用,通过词汇约束来扩展 beam 搜索,并且在进行交互式预测翻译和领域自适应翻译实验中表现出良好的性能提升。