conditional masked language model | BriefGPT

关键词conditional masked language model

搜索结果 - 5

借助误差暴露和一致性规范化提升非自回归机器翻译
通过错误曝光和一致性正则化的训练方法，研究中提出了解决条件掩码语言模型 (CMLM) 在训练和推断之间数据分布差异的问题，并在五个翻译基准上实验，取得了相对基线模型平均 0.68 和 0.40 BLEU 得分的改进，同时我们的 CMLMC-
PDF5 months ago
COLING基于条件掩码语言模型的神经机器翻译语义一致数据增强
本文介绍了一种新的神经机器翻译数据增强方法，可以在语言内外强制实现更强的语义一致性。结果表明，条件掩蔽语言模型是一种生成上下文相关单词分布的有效技术，并集成了软词替换的思想，以增强数据多样性，加强语义一致性。该方法在四个规模不同的翻译数据集
PDF2 years ago
并联自回归重评分的非自回归端到端语音翻译
本文提出了一种基于非自回归模型 (NAR) 的高效端到端语音翻译 (E2E-ST) 系统 ——Orthros，使用条件掩蔽语言模型 (CMLM) 和连接主义时间分类 (CTC) 模型作为 NAR 解码器，并采用两种训练方法来增强 CMLM
PDF3 years ago
EMNLP将本地翻译机制融入非自回归翻译中
本研究介绍了一种新的局部自回归翻译机制，将其应用于非自回归翻译模型中，以捕捉目标输出的局部依赖关系。同时，设计出一种高效的合并算法来对齐和合并输出序列。我们在 5 个翻译任务上进行了实证结果，表明相比 CMLM，我们的方法在更少的译码迭代次
PDF4 years ago
EMNLP带条件掩蔽的机器翻译推理策略
本文通过对条件掩蔽语言模型的训练以及推理策略的研究，提出了一种在机器翻译任务中有效的阈值策略，并分析了其在不同任务上的表现。
PDF4 years ago