ACLMar, 2022

低资源机器翻译中基于子词正则化的单模型集成

PDF
TL;DR探讨使用多个子词部分划分提高神经机器翻译模型的鲁棒性，提出了一个推理策略，通过多种划分途径，包括最可信的划分和多个样本划分，来逼近边缘分布，并进行预测聚合，将其视为单个模型集成，在低资源机器翻译任务中改善了基于子词规则化训练的模型的性能。
发现论文，激发创造
  • 使用多个子词候选项改进神经网络翻译模型的子词正则化

    介绍了一种利用 subword segmentation 的噪声来提高神经机器翻译鲁棒性的正则化方法，主要应用于低资源领域。

    Apr, 2018

  • 多视角次词正则化

    应用现有子词规范化方法 (Kudo,2018;Profilkov et al., 2020) 对预训练的多语言表示进行微调，通过多视角子词规范化（MVR）方法增强跨语言转移的有效性，同时改善标准分词算法的效果，提高多语种基准测试 (XTREME) 的一致性改进 2.5 个点。

    Mar, 2021

  • 面向强鲁棒性神经机器翻译的对抗子词规范化

    该研究通过提出对抗子单词规范化技术（ADVSR）探讨了在训练过程中是否可以使用梯度信号作为多样化子单词分割的替代标准，实验证明该技术可以有效地减少分割错误对神经机器翻译模型的影响，从而提高模型在低资源和外部数据集上的性能。

    Apr, 2020

  • Subword 分段机器翻译：统一分段和目标句子生成

    该研究提出了一种称为子词分节机器翻译（SSMT）的新方法，通过在单个可训练模型中联合学习目标句子单词的分割和目标句子生成，在生成翻译过程中采用动态解码算法进行细分操作，实验结果表明，SSMT 能提高粘着语言的 chrF 分数以及对于评估形态组成通用性构建的测试集的鲁棒性也更强。

    May, 2023

  • 用于恩格尼语的亚词分语言建模

    该研究提出了一种基于语言模型的子词分段语言模型（SSLM），在训练期间学习如何分段单词，以优化语言模型的性能。通过统一子词分割和语言建模，SSL 模型学习到优化语言建模性能的子词。结果表明，学习子词分割是现有子词分割器的有效替代方案，可以发现类似词素的子词，以提高其语言模型的能力。

    Oct, 2022

  • 多语言翻译中的子词和跨语言转移的系统分析

    此研究探讨了子词切分在跨语言迁移中的作用，发现子词规范化提高了多语言建模的协同效应，而 BPE 在跨语言微调中更有效地促进了迁移，在子词建模方面的决策对于优化多语言建模的好处至关重要。

    Mar, 2024

  • SelfSeg: 神经机器翻译的自监督子字符分词方法

    该论文介绍了一种名为 SelfSeg 的自监督神经子词分割方法，它比传统的字节对编码（BPE）更快，只需要单语词典而不需要平行语料库，并且在实验中表现出更好的性能。

    Jul, 2023

  • 将神经网络中文分词视为低资源机器翻译任务

    本研究利用最佳实践将低资源神经机器翻译应用于受监督的中文分词，实现低成本的模型设计并取得与其他方法相同的最新成果。

    Aug, 2020

  • 使用一致性正则化的半监督神经机器翻译技术 —— 面向低资源语言

    本文介绍一种半监督的方法来解决低资源语言机器翻译的问题，通过增强高质量的句子对和使用基于 SentenceBERT 的过滤器来提高数据质量，将交叉熵损失和 KL 散度相结合，特别是通过伪目标句子实现无监督训练，实验证明该方法可以显著提高 NMT 基线性能

    Apr, 2023

  • 文本理解中有效的子词分割

    通过利用子词增强嵌入式框架，本文介绍了一种学习和合成计算产生的子词级别表示的新方法，经过在英文和汉语测试基准上的各种文本理解任务中的实验测试，发现子词增强嵌入式显着改善了我们在各种文本理解任务上的基线。

    Nov, 2018