May, 2024

超越 MLE：探索 SEARNN 用于低资源的神经机器翻译

PDF
TL;DR通过对英语到伊博语、法语到埃维语以及法语到戈马拉语的翻译实验，本项目评估了 SEARNN 在解决低资源语言带来的独特挑战方面与 MLE 相比的功效，结果显示 SEARNN 在机器翻译低资源语言领域的训练具有显著的 BLEU 分数提升，证明了其作为可行算法的有效性。
structured prediction tasksrecurrent neural networkssearnnmachine translationlow-resourced languages
发现论文，激发创造
  • SEARNN: 使用全局 - 局部损失训练循环神经网络

    SEARNN 是一种基于 “学习搜索” 方法的递归神经网络（RNNs）训练算法，使用类似测试的搜索空间探索，引入了接近测试误差的全局局部损失，从而取得了复杂预测任务领域更好的表现。

    Jun, 2017

  • 基于搜索的结构化预测

    提出了 Searn，这是一种集成搜索和学习的算法，可以解决自然语言、语音、计算生物学和视觉中出现的复杂结构预测问题，是一种元算法，可以将这些复杂问题转换为简单的分类问题。

    Jul, 2009

  • 五种非洲语言低资源神经机器翻译基准

    研究了最近神经机器翻译 (NMT) 在英语和五种非洲低资源语言 (LRL) 对之间的效果，并表明多语言模型 (multilingual approach) 在某些翻译方向上有 +5 分数的提升。同时，提供标准的实验数据和测试集以供未来的研究使用。

    Mar, 2020

  • 无监督基于搜索的结构化预测

    该研究描述了一种将搜索为基础的结构预测算法 “Searn” 应用于无监督学习问题的方法，并展示了将无监督学习简化为监督学习的可能性，并且演示了高质量的无监督移位 - 归约分析模型，最后展示了半监督学习拓展的效果。而关键创新点是将 “自预测” 概念应用于无监督学习。

    Jun, 2009

  • 神经网络序列到 序列学习

    本文提出了一种基于深度神经网络（DNN）的序列学习方法，使用多层长短时记忆（LSTM）解码目标序列并展现了其在英法翻译任务中优于传统短语模型翻译的成果，同时还发现调整源语句中单词的顺序可以有利于优化问题的解决。

    Sep, 2014

  • 神经机器翻译快速适应新语言

    本文提出了針對低資源語言進行神經機器翻譯系統適應的策略，基於大規模的多語言種子模型，通過將訓練擴展到相關低資源語言數據上，與高資源語言一起進行聯合訓練，實現了相似語言正則化策略，實驗表明在 4 個低資源語言環境下，BLEU 得分平均提高了 1.7。

    Aug, 2018

  • 低资源语言的神经机器翻译

    该研究探索了低资源语言领域的神经机器翻译以及如何通过 NLP 和深度学习技术对语言模型进行改进

    Apr, 2023

  • 逐句平滑规则化用于序列到序列学习

    通过使用句子级的规则化方法，解决了在序列模型训练中，最大似然估计普遍存在的非平滑预测概率问题，并取得了在神经机器翻译任务中优越的性能。

    Dec, 2018

  • 利用可比语料库诱导的双语词典进行低资源语言的神经机器翻译

    本文使用端到端的 Siamese 双向递归神经网络从 Wikipedia 的可比较多语言文章中提取并生成平行句子，证明使用所收集的数据集可以提高低资源语言对 (英―印度语和英―泰米尔语) 上的 BLEU 分数。

    Jun, 2018

  • 低资源神经机器翻译元学习

    本文利用元学习算法 (MAML) 扩展低资源 NMT 问题，并通过多语言高资源任务进行学习来适应低资源语言，并利用全局词汇表解决不同语言的输入输出错配， 在使用 18 种欧洲语言作为源任务和 5 种不同的语言作为目标任务的情况下，相对于基于多语言、迁移学习的方法，表明所提出的方法显著优于现有方法，并仅需少量训练示例即可获得具有竞争力的 NMT 系统。

    Aug, 2018