Feb, 2024

具有遮蔽语言模型的概率声学束搜索

PDF
TL;DR利用掩码语言模型进行束搜索（beam search）困难的部分在于序列的联合概率分布不能轻易获取，这限制了其在蛋白质工程和古代文本修复等许多领域的应用。本研究提出了一种概率上具有合理性的束搜索方法，通过理论和实证研究表明，在特定条件下的文本插入中，该方法在预期条件下的效果优于传统的束搜索方法。
发现论文，激发创造
  • MLMLM: 基于均值似然掩蔽语言模型的链接预测

    我们提出了 MLMLM（Mean Likelihood Masked Language Model）方法，通过比较不同实体生成的平均可能性来进行链路预测，以解决 KB 的可扩展性问题和 MLM 的可解释性问题，从而在 WN18RR 数据集上获得了 SotA 结果，并在 FB15k-237 数据集上获得了最佳非嵌入式结果。我们还对以前未见实体的链路预测获得了令人信服的结果，使 MLMLM 成为将新实体引入 KB 的合适方法。

    Sep, 2020

  • 从掩码语言模型中衍生语言模型

    研究在 Masked language models 中提取出显式的联合分布的方法，并发现基于标识最接近 MLM 的条件的联合分布的方法效果最好，甚至可以有时胜过原来的 MLM 条件的出现。

    May, 2023

  • 视觉语言领域数据效率掩码语言建模

    本文研究在跨模态预训练中使用遮蔽语言建模（Masked Language Modeling，简称 MLM）的一些问题，提出了一些针对这些问题的替代遮蔽策略，在 LXMERT 模型预训练时，我们的替代策略始终优于原始遮蔽策略，特别是在低资源设置下，我们的预训练方法显著优于基准模型，并且通过对影像对象的特定标记任务的评估，我们的结果和分析表明，该方法允许更好地利用训练数据。

    Sep, 2021

  • 通过 Metropolis-Hastings 揭示掩码语言模型背后的隐式能量网络

    本文提出了一种从 MLMs 中推导出能量参数，并利用 Metropolis-Hastings Monte Carlo 算法开发了可处理的采样方案，用于无限制的生成和有条件的生成任务，证明了所提出参数化的有效性，以及我们的方法生成的样本比其他最近提出的非定向生成方法生成的更高质量。

    Jun, 2021

  • 探索文本生成的屏蔽语言建模和因果语言建模

    这篇论文比较了掩码语言模型和因果语言模型在文本生成任务上的表现，发现掩码语言模型在生成文本时具有更好的质量和连贯性，并且对下游任务的性能没有明显影响，从而显示了掩码语言模型在文本生成方面具有巨大的潜力并指导了未来研究的方向。

    May, 2024

  • 用基于采样的方法逼近最小贝叶斯风险解码在神经机器翻译中的应用

    本研究分析了一种比 beam search 更有效的基于最小贝叶斯风险译码的决策规则，并设计了基于搜索和估计效用的成本分离近似算法，探讨了以模式为导向的策略对译文翻译的效果，实验证明这种方法在三种语言对中均能提高翻译质量。

    Aug, 2021

  • 神经机器翻译的束搜索策略

    本文提出了通过改进灵活的 beam-search decoder 来加速神经机器翻译的方法，并测试表明，该方法可以提高速度，同时不影响翻译质量。

    Feb, 2017

  • 不要总是看向右边：探究基于解码器的大型语言模型在序列标注中的能力

    提前训练的语言模型能够通过改进序列标记任务的表现，优于基于自回归语言模型的编码器，并通过去除因果掩码在信息提取任务中取得了与前沿模型相媲美的性能。

    Jan, 2024

  • 通过置信度放宽增强 ASR 解码

    该论文提出了一种解码过程，改进了现有的基于 beam search 的自动语音识别系统中的缺陷，特别是针对最近提出的自监督学习（SSL）模型中高度自信的预测所带来的问题，并且不需要额外的训练以及模型参数，并且在低资源场景中实现了一致的改进。

    Dec, 2022

  • DP-MLM：使用掩膜语言模型的差分隐私文本重写

    基于掩码语言模型（MLMs），提出了一种新的基于差异隐私的文本重写方法 DP-MLM，能够在语义相似且混淆的方式下重写文本，对于保护隐私提供更好的实用性，并具有更大的重写机制定制化能力。

    Jun, 2024