ACLJun, 2021

利用语言相关性进行低网络资源语言模型适应：印度语言研究

PDF
TL;DR本文针对印度语言中不足文本资源的问题，提出了一种称为 RelateLM 的利用相关语言作为中间媒介的方法，通过音译和数据增强等技术，将限制资源语言文本转化到具备足够语料的相关语言中间站，从而提高多语言模型的适用性。
multilingual language modelslow resource languagesrelated languagesindian languagestransliteration
发现论文，激发创造
  • 语言相关性在多语言语言模型微调中的作用：印度雅利安语的案例研究

    本文探讨利用多语言微调技术在 NLP 模型中利用同一语系的相关性对性能的影响，结果表明在微调预训练的多语言模型时，与单独微调每一语言相比，多语言微调可以在下游 NLP 应用程序中获得更好的性能。 印欧 - 雅利安语系（IA）被选为研究对象，实验结果表明精细选择一组相关语言的性能比使用所有相关语言显着提高。

    Sep, 2021

  • 神经机器翻译快速适应新语言

    本文提出了針對低資源語言進行神經機器翻譯系統適應的策略，基於大規模的多語言種子模型，通過將訓練擴展到相關低資源語言數據上，與高資源語言一起進行聯合訓練，實現了相似語言正則化策略，實驗表明在 4 個低資源語言環境下，BLEU 得分平均提高了 1.7。

    Aug, 2018

  • 利用词汇相似性实现极低资源语言的零 - shot 机器翻译

    本篇论文讨论了如何利用字符噪声注入方法，将近乎无资源语言翻译成英文，使其更能够适应高资源语言，并在多种语言家族的紧密相关语言对中得到了显著的优异表现。

    May, 2023

  • 将高资源 NMT 模型应用于低资源相关语言的翻译，不需要平行数据

    本论文研究如何使用语言重叠来进行翻译，在仅有少量单语数据的情况下，结合去噪自编码、回译和对抗性目标，提出了一种名为 NMT-Adapt 的方法，实现了对低资源语言的翻译的提高。

    May, 2021

  • 利用相关资源丰富的语言来改进资源匮乏语言的统计机器翻译

    本文提出了一种新颖的语言无关方法，通过利用资源丰富的语言与资源贫乏的语言的相似性来改善后者的机器翻译，以达到减少训练数据的目的，并且评估结果表明，在少量并行语料库的情况下，改进了印尼语到英语和西班牙语到英语的翻译质量。

    Jan, 2014

  • 音译是否有助于多语言语言建模？

    本文研究了在多语言语言模型中应用转写对性能的影响，并在 IndicGLUE 基准测试集上评估了两个 ALBERT 模型，结果显示转写使得低资源语言的性能得到了提升，且基于转写的模型具有更高和更稳定的交叉语言表示相似度分数。

    Jan, 2022

  • 对抗性数据集上跨语言迁移至资源较少的语言的鲁棒性

    多语言语言模型（MLLMs）展现了强大的跨语言转移能力，本研究旨在调查源语言应用于目标语言的效果，特别是在扰动输入测试集的情况下，发现命名实体识别的跨语言转移主要取决于实体块的重叠，研究结果提供了宝贵的跨语言转移见解并强调了在跨不同语言时考虑语言细微差异和潜在限制的必要性。

    Mar, 2024

  • 比较 LLM 提示与跨语言转移性能对土著和低资源巴西语言的影响

    大型语言模型在低资源语言上的自然语言处理任务上表现较差，并提供了错误分析和实例解释。

    Apr, 2024

  • 跨语言适应多语言预训练语言模型的三重方法

    研究了三种低资源跨语言方法，并在语境学习和微调下发现通过添加额外的主导语言监督信号，对 LLM 的跨语言转移有所改进；同时，发现将目标语言适应词汇重排可能对 ICL 有益，但随着微调而减弱；最后，继续以一种低资源语言进行预训练可提高其他相关低资源语言的模型性能。

    Jun, 2024

  • 处理低资源语言任务的成本性能优化：使用商业 LLMs

    降低大型语言模型在低资源语言的处理成本，同时确保预测和生成性能不受损失，通过考虑代码混合、翻译和音译等方式来减少 LLM 处理的标记数量，并通过广泛研究 15 种印度语言的 IndicXTREME 数据集来证明最佳交互策略可以将成本降低 90%，并且与原始低资源语言的交互相比性能更好或可比。

    Mar, 2024