Nov, 2023

MAP 还未过时：通过去除退化性条件揭示真实的语言模型模式

PDF
TL;DR混合低熵噪声与自然语言生成模型的训练数据可以导致退化模式，因此建议将最大后验（MAP）解码应用于避免特定退化的条件模型分布，研究发现机器翻译模型和语言模型的长度条件模式比无条件模式更流畅和主题相关。
degenerate modesnatural language generationmap decodingmachine translation modelsllama-7b model
发现论文，激发创造
  • MAP 译码足矣吗？神经机器翻译中模式的不足

    论文针对神经机器翻译 (NMT) 系统中出现的一些问题进行了研究，发现这些问题主要与最大后验概率推断 (MAP) 解码以及解码过程中使用的决策规则有关，而非 NMT 的统计假设或最大似然估计算法。作者倡导使用考虑翻译分布整体性的决策规则，证明了最小贝叶斯风险解码的近似方法具有良好的效果。

    May, 2020

  • 指尖上的质量控制：品质感知翻译模型

    在神经机器翻译模型中，提出通过自我评估来训练模型以估计其自身输出的质量，并在解码过程中使用该质量估计来指导生成过程，从而显著提高翻译质量。在最小贝叶斯风险解码中使用内部质量估计来剪枝，不仅可以进一步提高翻译质量，还可以将推理速度降低两个数量级。

    Oct, 2023

  • 用基于采样的方法逼近最小贝叶斯风险解码在神经机器翻译中的应用

    本研究分析了一种比 beam search 更有效的基于最小贝叶斯风险译码的决策规则，并设计了基于搜索和估计效用的成本分离近似算法，探讨了以模式为导向的策略对译文翻译的效果，实验证明这种方法在三种语言对中均能提高翻译质量。

    Aug, 2021

  • 神经文本退化的好奇案例

    本研究发现人类文本和机器生成文本的分布存在差异，在相同的神经语言模型下使用不同的解码策略可以显著影响文本质量，提出了一种基于动态核心采样的方法来提高生成文本的多样性和流畅性。

    Apr, 2019

  • 如果 Beam Search 是答案，那么问题是什么？

    采用 Beam Search 解码思路得出的结果通常要优于最大后验概率解码方式，因为前者更加符合认知科学理论，这启示我们有必要提出一系列解码目标，明确地强化文本信息均匀分布的特性，以解决解码过程中存在的问题。

    Oct, 2020

  • 探索使用大型语言模型进行人类化翻译策略

    本文提出了一个名为 MAPS 框架，通过多方面提示和选择的方式，使用大型语言模型分析源文本获取三个与翻译相关的知识方面：关键词、主题和相关演示，并通过质量估计的机制过滤噪音和无用的知识来指导翻译过程，实验证明 MAPS 在最新的 WMT22 测试集上对八个翻译方向都有显著和一致的改进，为解决翻译中的幻觉错误提供了关键的知识。

    May, 2023

  • 神经自回归序列建模中的模式恢复

    通过研究分布的模式如何在全学习链中维持来研究最大似然训练的神经自回归序列模型中的潜在问题，我们发现未来的研究必须考虑整个学习链，以充分了解神经自回归序列模型的潜力和危险，并进一步提高其性能。

    Jun, 2021

  • Mask-Predict: 条件掩码语言模型的并行解码

    本文介绍了一种利用掩码语言建模来训练非自回归机器翻译模型的方法，并通过对多个数据集的实验验证，证明该方法在翻译质量和速度方面都优于现有的非自回归翻译模型，并且接近于左到右的变换器模型。

    Apr, 2019

  • 不确定性决定了序列到序列模型的适用性和解码的可操作性

    通过测量自然语言处理中 intristic uncertainty 的程度，我们发现它会对搜索过程的归纳偏差和精确搜索的复杂度等方面产生重大影响，并提出了一种新的精确搜索算法用于神经序列模型，发现 intristic uncertainty 会影响模型的不确定性，从而导致概率质量过度分散。

    Apr, 2022

  • 通过退化模型学习多样化神经文本生成技术

    通过训练两个模型来防止神经语言模型生成单一和重复的文本，从而增强多样性和信息量，实验证明这种方法的有效性。

    Sep, 2023