神经网络语言模型的增量适应策略

ACLDec, 2014

神经网络语言模型的增量适应策略

Incremental Adaptation Strategies for Neural Network Language Models

Aram Ter-Sarkisov, Holger Schwenk, Loic Barrault, Fethi Bougares

TL;DR本文提出了两种优化神经网络语言模型适应新数据的方法，包括在重新采样数据上进行继续训练或插入适应性层。在 CAT 环境中应用于 SMT 系统中，这两种方法均取得了显著的改进。

Abstract

It is today acknowledged that neural network language models outperform backoff language models in applications like speech recognition or statistical machine translation. However, training these models on large amounts of data can take several days. We present efficient techniques to

neural network language models training techniques adaptation layers resampled data statistical machine translation

发现论文，激发创造

神经机器翻译的简单可扩展自适应性

本研究提出了一种简单而有效的适应 NMT 模型的方法，该方法是将微小的任务特定适配层注入预训练模型，能够同时适应多个不同的任务，并在两项任务中得到了验证，理论与全面的微调相当。

Sep, 2019

神经机器翻译快速适应新语言

本文提出了針對低資源語言進行神經機器翻譯系統適應的策略，基於大規模的多語言種子模型，通過將訓練擴展到相關低資源語言數據上，與高資源語言一起進行聯合訓練，實現了相似語言正則化策略，實驗表明在 4 個低資源語言環境下，BLEU 得分平均提高了 1.7。

Aug, 2018

高效机器通信的持续自适应

本研究提出了一个基于交互式重复参考任务的连续学习框架，以更准确和高效地与伙伴通信，并通过 COCO 的模拟和与人类伙伴的实时参考游戏实验进行了评估。

Nov, 2019

面向专业人员的 NMT 增量调整：用户研究

本文研究使用在线学习方法对神经网络机器翻译系统进行改进，通过用户实验表明改进后的系统在翻译质量、减少人工修改时间等方面有了明显的提升。

Jun, 2019

高效升级多语言机器翻译模型以支持更多语言

本论文提出了三种技术，可以加速新语言的学习并减轻灾难性遗忘，来提高多语言机器翻译模型的效率并最大化旧模型的重用，具体来说，这些技术包括仔细初始化网络、应用学习速率缩放、进行数据上采样。

Feb, 2023

面向口语对话系统的可伸缩语言模型适应

提出了一种方法，基于手写语法直接估计 n-gram 数量和使用约束优化来适应新应用意图，同时不降低过去应用的性能，使用该方法在私人助手系统中对新应用意图进行了评估，发现即使对于没有此类应用程序的适应数据，适应可以将单词错误率提高 15％。

Dec, 2018

采用循环神经网络的个性化语言建模的高效迁移学习方案

该研究提出了一种有效的迁移学习方法，使用具有长短期记忆体系结构的循环神经网络对个性化语言模型进行训练。通过实验证明，我们的迁移学习方法成功生成了个性化语言模型，并在定量和定性方面表现出更接近个人语言风格的输出，尤其适用于移动设备环境以保护数据隐私。

Jan, 2017

个性化神经机器翻译的极端适应性

本文提出了一种简单而参数高效的自适应技术，通过适应输出 softmax 的偏差来适应机器翻译系统的每个特定用户，从而改善翻译准确性和更好地反映说话者特点在目标文本中。

May, 2018

机器翻译中实用的神经语言模型

该研究论文深入探讨了集成神经语言模型在翻译系统中的应用，评估了多种扩展神经模型的技术对最终翻译质量的影响，并提出了一系列训练算法、优化技巧和建议，以构建一个适用于机器翻译的可扩展的神经语言模型。

Dec, 2014

神经机器翻译的快速领域适应

本文介绍了一种适应新领域的神经机器翻译（NMT）系统，并展示了在两种语言对上，适应方法相比于常用方法在自动和人工评估测量标准下的显著性提升，而一般领域性能仅略有下降，适应过程快速且不需要重新训练 NMT 模型。

Dec, 2016