ACLMar, 2022

面向目标词汇的掩蔽标签平滑机器翻译

PDF
TL;DR本研究提出了一种新的机制 Masked Label Smoothing（MLS），该机制有效地解决了标签平滑与词汇共享之间的矛盾，能够在不同数据集上提高神经机器翻译模型的翻译质量和模型校准性能。
neural machine translationlabel smoothingvocabulary sharingmasked label smoothingtranslation model
发现论文，激发创造
  • Mask-Align: 自监督神经词对齐

    本研究提出一种自监督的单词对齐模型 - Mask-Align，该模型利用目标序列上的完整上下文，在进行两步的处理，同时采用一种叫做漏洞关注 (leaky attention) 的注意力变体，对于特殊符号如句号，该变体有助于缓解跨项权重过高的问题，各项结果显示，该模型的性能优于以前的无人监督神经对齐器，同时取得了新的最优结果。

    Dec, 2020

  • 视觉语言领域数据效率掩码语言建模

    本文研究在跨模态预训练中使用遮蔽语言建模（Masked Language Modeling，简称 MLM）的一些问题，提出了一些针对这些问题的替代遮蔽策略，在 LXMERT 模型预训练时，我们的替代策略始终优于原始遮蔽策略，特别是在低资源设置下，我们的预训练方法显著优于基准模型，并且通过对影像对象的特定标记任务的评估，我们的结果和分析表明，该方法允许更好地利用训练数据。

    Sep, 2021

  • 通过掩码特定损失提高预训练语言模型的敏感性：以生物医学 NER 为案例研究

    通过适当加权领域特定术语并加入遮蔽策略，提高语言模型的灵敏度和检测领域特定术语的能力。

    Mar, 2024

  • Mask-Predict: 条件掩码语言模型的并行解码

    本文介绍了一种利用掩码语言建模来训练非自回归机器翻译模型的方法，并通过对多个数据集的实验验证，证明该方法在翻译质量和速度方面都优于现有的非自回归翻译模型，并且接近于左到右的变换器模型。

    Apr, 2019

  • 利用源条件掩蔽跨度预测提高词汇约束的神经机器翻译

    本文提出了一种简单有效的训练策略，通过应用掩蔽跨度预测模型， 实现了对两种语言的三个特定领域语料库在术语级和句子级翻译方面的持续改进，以解决神经机器翻译系统术语翻译的实用性和可靠性问题。

    May, 2021

  • 语义标签平滑用于序列到序列问题

    本文提出了一种针对 seq2seq 问题的标签平滑技术，能够克服大量输出的难题，通过充分的 n-gram 重叠和语义相似性，取得了明显的效果提升，并且在不同的数据集上超越了现有技术的最佳水平。

    Oct, 2020

  • 基于条件掩码语言模型的神经机器翻译语义一致数据增强

    本文介绍了一种新的神经机器翻译数据增强方法，可以在语言内外强制实现更强的语义一致性。结果表明，条件掩蔽语言模型是一种生成上下文相关单词分布的有效技术，并集成了软词替换的思想，以增强数据多样性，加强语义一致性。该方法在四个规模不同的翻译数据集上进行的实验结果，展示了更真实的数据增强和更好的翻译质量，相对于强和最新的工作，我们的方法一致实现了最佳性能，并相对于基线改进了高达 1.90 BLEU 分数。

    Sep, 2022

  • 同时屏蔽，不是提示优化：同传中微调语言模型的范式转变

    利用一种名为 SimulMask 的新模式，通过在 Fine-tuning 期间通过屏蔽注意力连接来建模即时翻译，成功解决了一系列问题，从而使大语言模型在同时翻译任务中取得了显著提升的翻译质量，并减少了计算成本。

    May, 2024

  • PLM: 针对不平衡多标签分类的部分标签遮蔽

    使用自适应估计技术估计正负样本比率，通过随机标签屏蔽技术优化训练过程，提出了一种通用的 Partial Label Masking 方法，从而平衡类别样本不均导致的性能下降问题，该方法在多标签和单标签分类数据集上，比现有方法表现更好。

    May, 2021

  • 谨慎平滑选择：标签平滑既可以成为隐私保护，又可能成为模型逆向攻击的催化剂

    标签平滑是一种用于深度学习的广泛采用的正则化方法，本研究探究了标签平滑对模型反演攻击的影响，发现传统的标签平滑会增加模型的隐私泄露，而采用负因子的平滑可以阻止类相关信息的提取，从而提高隐私保护性并增强模型的鲁棒性。

    Oct, 2023