ACLFeb, 2021

自然语言生成的增量光束操作

PDF
TL;DR本论文提出了增量束搜索方法，即在解码过程中重新排列束中的假设，以提高自然语言生成系统的性能，实验结果表明，该方法相对于传统束搜索方式，在 E2E 和 WebNLG 挑战测试集中分别使 BLEU 得分提高了 1.93 和 5.82 个百分点，在 E2E 挑战测试集上也比一种强大的再排序器表现更好。
发现论文，激发创造
  • 用于束搜索再排序的简单基准线

    本文介绍了一种简单的方法，通过训练重新排序器来预测翻译候选的 BLEU 分数，从而达到准确衡量机器翻译质量的目的。在未引入其他数据或参数的情况下，此方法可以作为该领域未来研究的一个干净的基线模型。

    Dec, 2022

  • 抽象摘要中幻觉缓解的改进束搜索

    本研究旨在探讨如何在摘要生成过程中应用自然语言推理来检测和预防虚假信息，通过使用一个 NLI 辅助的 beam​排序机制，从而大幅提高基于 XSum 与 CNN/DM 数据集的摘要生成效果。

    Dec, 2022

  • 增量式分块波束搜索实现同时语音翻译与可控质量 - 延迟折衷

    通过修改增量性的分块束搜索策略，本文提出了一种用于控制质量 - 延迟权衡的方法，并应用于在线和离线翻译模型，实验结果表明在 MuST-C 数据集上 BLEU 指标提升 0.6-3.6，延迟降低 0.8-1.4 秒。

    Sep, 2023

  • 突破束缚搜索：关于神经机器翻译评分方法和停止准则的研究

    本文提出了几种方法解决 beam search 的扩展导致的机器翻译质量下降的问题，讨论了这些方法的最优停止准则，并展示了无超参数方法在中英翻译中的优异表现，超过了使用长度规范化启发式方法的 BLEU 值 2.0，并在所有方法中获得了最佳结果。

    Aug, 2018

  • 神经文本生成的最优光束搜索（以光束大小为模）何时结束？

    本文提出了一种可证明为最优的波束搜索算法，该算法可用于神经文本生成中，如神经机器翻译、摘要和图像字幕生成，通过引入有界长度奖励机制，避免了短假设的问题并提高了 BLEU 分数。

    Aug, 2018

  • 神经机器翻译的束搜索策略

    本文提出了通过改进灵活的 beam-search decoder 来加速神经机器翻译的方法，并测试表明，该方法可以提高速度，同时不影响翻译质量。

    Feb, 2017

  • 基于能量的再排序：利用能量模型来提高神经机器翻译的效果

    通过基于能量的重新排序算法，利用基于 MLE 的 NMT 生成更高 BLEU 分数的样本，实现了比 MLE 更好的性能。

    Sep, 2020

  • 一种稳定有效的可训练贪婪解码学习策略

    本文提出了一种灵活的新方法，利用一个小型的神经网络 actor 来观测和操纵先前训练的解码器的隐藏状态，以无需额外的计算成本获得几乎全部的 beam search 带来的好处。我们介绍了使用一个伪并行语料库来训练 actor 网络，它是以类似于 BLEU 的目标质量指标对基础模型的 beam search 输出排名而生成的。我们的方法受到了早期研究的启发，但不需要强化学习，并且可以可靠地在各种模型上训练。在三个平行语料库和三个架构上的实验表明，该方法可以使翻译质量和速度大大提高，超过每个基础系统。

    Apr, 2018

  • 最佳优先束搜索

    本文提出了一种有效启发式算法，用于近似搜索全输出空间中最佳解，解决了诸多自然语言处理任务中的难点问题，并为非单调性得分函数设计了有效的单调逼近方法，提出了一种内存缩减变体的最佳优先搜索，具有类似的有利搜索偏差，并在时限内运行。

    Jul, 2020

  • 优先选择翻译更为准确的性别翻译策略

    本研究通过调整推理过程，使用性别特征和应用性别约束条件，改善 $nbest$ 列表的性别多样性，解决了神经机器翻译中的性别偏见问题，最终权衡这些技术可以在不需要额外的双语数据或额外的 NMT 模型的情况下获得显着的 WinoMT 准确度提高.

    Apr, 2021