Jan, 2022

低资源神经机器翻译的高性价比训练

PDF
TL;DR提出了一种利用自监督学习和小规模词典来初始化神经机器翻译（NMT）模型，在初始化后使用主动学习策略提高低资源条件下（如稀缺语言）翻译模型性能的方法，并提出了一种基于领域适应的新型主动学习策略。除此之外，我们还表明，使用这种初始化方法和主动学习策略可相比于传统方法提高最多 13 个 BLEU 点。
active learningneural machine translationlow-resource learningself-supervised learningdomain adaptation
发现论文，激发创造
  • 神经机器翻译的主动学习

    本文使用 Joey NMT 工具包中的 Active Learning 技术，通过两种基于模型的获取函数 (BM, FTM, ALLCM, 和 ALMSM)，研究了英语到印地语的神经机器翻译。本文的结果表明，Active Learning 技术能够使模型更早地达到收敛并提高整个翻译系统的质量，其中 ALLCM 和 ALMSM 两种模型取得了最好的 BLEU 分数。

    Dec, 2022

  • 低资源语言的神经机器翻译

    本文研究通过引入更多本地依赖关系和使用单词对齐来学习翻译过程中的句子重新排序，在低资源语言中使用神经机器翻译 (NMT) 模型，产生仅使用 7 万个训练数据令人满意的翻译结果。

    Aug, 2017

  • 低资源神经机器翻译调查

    本文对低资源神经机器翻译进行了调查，并根据所使用的辅助数据将相关作品分为三类：利用源语言和 / 或目标语言的单语数据，利用来自辅助语言的数据以及利用多模态数据。该调查有助于研究人员更好地理解该领域，鼓励他们设计更好的算法，也有助于帮助行业从业者选择适合其应用程序的算法。

    Jul, 2021

  • 使用一致性正则化的半监督神经机器翻译技术 —— 面向低资源语言

    本文介绍一种半监督的方法来解决低资源语言机器翻译的问题，通过增强高质量的句子对和使用基于 SentenceBERT 的过滤器来提高数据质量，将交叉熵损失和 KL 散度相结合，特别是通过伪目标句子实现无监督训练，实验证明该方法可以显著提高 NMT 基线性能

    Apr, 2023

  • 低资源语言的神经机器翻译

    该研究探索了低资源语言领域的神经机器翻译以及如何通过 NLP 和深度学习技术对语言模型进行改进

    Apr, 2023

  • 神经机器翻译的短语级主动学习

    本文拟通过选择在新领域非标记数据中的全句和短语，将其路由至人类翻译，解决神经机器翻译在领域转移方面的限制，从而在德语 - 英语翻译任务上，相比于不确定性句子选择方法，实现了一定程度的改进。

    Jun, 2021

  • 重新审视低资源神经机器翻译：以个案研究为例

    本文探讨神经网络机器翻译（NMT）在低资源条件下性能下降的原因，提出适应低资源环境时的注意事项和最佳实践，并在德语 - 英语和韩语 - 英语低资源翻译数据集上进行实验，发现经过优化的 NMT 系统可以在没有使用其他语言辅助数据的情况下，比以前报告的更少数据超越采用词组统计的基于规则的机器翻译（PBSMT），BLEU 指标超过 4 个点。

    May, 2019

  • 大型语言模型的自动学习方法

    使用大型语言模型（GPT-3.5 和 GPT-4）进行标注，研究了主动学习中减少标注成本和采样效率的方法。采用混合注释策略，将可能标注错误的样本与人工注释相结合，可以在 AG 新闻和腐烂的番茄等数据集上取得与人工注释相似甚至更好的结果，证明了大型语言模型在主动学习中的准确性和成本效益。

    Jan, 2024

  • 跨语言监督提高无监督神经机器翻译

    本研究提出了一种跨语言无监督神经机器翻译框架，利用来自高资源语言对的弱监督信号，以提高零资源翻译质量。该框架基于多语言模型，不需要对标准无监督神经机器翻译进行改动，实验结果表明使用该框架可以在六个基准无监督翻译方向上将翻译质量提高超过 3 个 BLEU 分数。

    Apr, 2020

  • 零资源语言的多语言神经机器翻译

    本篇论文介绍了如何使用多语言神经机器翻译（multilingual NMT）解决低资源语种翻译问题，提出了一种基于迭代自训练的方法可以利用单语数据来提高零样本翻译的性能。实验结果表明，多语言 NMT 优于传统的双语 NMT，Transformer 模型优于循环神经网络模型，零样本 NMT 优于传统的基于中间语的翻译方法，甚至与完全训练的双语系统相当。

    Sep, 2019