Sep, 2023

用于语法错误校正系统组合的最小贝叶斯风险解码

PDF
TL;DR对语法错误纠正系统中的最小贝叶斯风险编码进行研究，提出了与此形式标准直接相关的新型 MBR 损失函数，并描述了一种扩展可能候选句集合的方法，实验证明了该 MBR 方法的有效性和对精确率、召回率和综合 GEC 系统的 F 分数的控制能力。
sequence-to-sequenceminimum bayes' risk decodinggrammatical error correctionmbr loss functiongec systems
发现论文，激发创造
  • 基于模型的最小贝叶斯风险解码

    在文本生成任务中，我们提出了基于模型的 MBR（MBMBR）方法，它使用模型概率本身作为概率分布的估计值，通过理论和实验证明模型估计优于蒙特卡洛估计，并且在多个文本生成任务中，包括编码 - 解码模型和大型语言模型中，MBMBR 表现优于 MBR。

    Nov, 2023

  • 神经机器翻译的后期最小贝叶斯风险解码

    本研究提出使用最小贝叶斯风险编解码技术 (MBR) 来消除基于 beam search 算法的模型自信度导致的输出错误，并使用 GPU 批量计算贝叶斯风险值以加速解码，并在机器翻译中验证后期 MBR 解码的优越性。

    Apr, 2017

  • 神经机器翻译中最小贝叶斯风险解码的特性理解

    本论文探讨神经机器翻译中的偏差以及在域偏移和样本干扰下的弱点，并找到应用最小贝叶斯风险解码对抗这些问题的方案。结果表明，这个方法虽然仍有长度和频率偏差，但同样增加了模型的鲁棒性，对样本干扰和域偏移具有更好的适应能力

    May, 2021

  • 使用低秩矩阵补全算法进行高效最小贝叶斯风险解码

    通过矩阵完成技术，以及在机器翻译任务中将最小贝叶斯风险解码（MBR）作为矩阵完成问题，本文提出了一种新的逼近 MBR 解码的方法。实验证明该方法在机器翻译任务中具有较高的效率，并达到了与 MBR 解码相当的翻译质量。

    Jun, 2024

  • MBR 从始至终：通过极小贝叶斯风险的视角探讨现代生成技术

    最小贝叶斯风险（MBR）解码是一种选择机器学习系统输出的方法，不是基于最高概率的输出，而是基于多个候选项中具有最低风险（预期误差）的输出。本文首先介绍了该方法和最近的文献，证明了一些最近的方法可以被写成 MBR 的特例，为这些方法的性能提供了额外的理论依据，并给出了在 NLP 模型中应用 MBR 的理论和实证结果，包括该领域的未来方向的具体建议。

    Oct, 2023

  • 快速最小贝叶斯风险解码的无超参数方法

    通过使用相关顺序减半算法来近似计算基于样本的最小贝叶斯风险目标，我们提出了一种不需要超参数调整的 AMBR 解码方法，该方法在机器翻译、文本摘要和图像字幕任务上与 CBP 方法相当。

    Jan, 2024

  • 机器翻译中的正则化最小贝叶斯风险重新排序框架

    该研究提出了一种基于 semantic-based similarity 和 truncating list 的在机器翻译中提高翻译质量的方法 Regularized MBR reranking framework (RMBR)。

    Mar, 2022

  • 线性时间最小贝叶斯风险解码与参考汇聚

    提出一种将成对度量分数近似为与聚合参考表示相对比的方法，从而将效用度量的复杂度从二次降低到线性，同时在实证中保留大部分 MBR 解码所带来的质量提升。

    Feb, 2024

  • 追随 COMET：利用最小贝叶斯风险解码实现自我改进的机器翻译

    本文研究了最小贝叶斯风险（MBR）解码在自我改进机器翻译（MT）中的应用，特别是针对领域适应和资源匮乏的语言。通过使用 COMET 作为 MBR 效用度量，我们实现了在 MBR 解码的正向翻译上微调模型的自我改进过程，旨在实现与人类偏好更为一致的翻译重新排名。该文探讨了这种方法的迭代应用和可能需要语种特定 MBR 效用度量的潜在需求。结果显示，在所有考察的语言对中，包括领域适应模型的成功应用和对资源匮乏环境的泛化，都显著提高了翻译质量。这突显了 COMET 指导的 MBR 在各种场景下实现高效 MT 自我改进的潜力。

    May, 2024

  • 基于置信度剪枝的更快最小贝叶斯风险解码

    在最小贝叶斯风险解码中，通过逐渐增加样本数来估计效用，并使用基于自助法的抽样获得的置信度估计来剪除不太可能具有最高效用的假设，从而在准确性方面与标准 MBR 无显著差异的情况下，需要较少的样本并大幅减少效用函数调用次数。

    Nov, 2023