ACLMar, 2024

GlossLM：面向低资源的多语言预训练用于语言互译注释

PDF
TL;DR我们编译了最大的现有的跨语言翻译数据语料库，从多个来源收集了超过 450k 个样例，覆盖了 1.8k 种语言，以便进行跨语言转移和跨语言翻译生成的研究。然后，我们对这个语料库的部分内容进行大规模多语言模型预训练，并进一步对特定语言进行微调。我们的模型在分词数据和大型单语数据集上与最先进的方法相比具有竞争力，同时在未分词的文本和小型语料库上的形态准确性方面超过 SOTA 模型高达 6.6％，证明了跨语言转移对于资源稀缺的语言的有效性。
language documentationinterlinear glossed textcrosslingual transferigt generationlow-resource languages
发现论文，激发创造
  • 我们能教语言模型术语化濒危语言吗？

    利用大型语言模型以及上下文学习的方法实现自动生成线性化标注文本的任务，无需传统训练，减少了研究人员的使用成本。

    Jun, 2024

  • Wav2Gloss: 从语音生成词汇顺序排列的文本

    语言灭绝、线性标注文本、Wav2Gloss、语音标注和端到端系统的比较和分析以及为未来 IGT 从语音生成的研究奠定基础的基准测试。

    Mar, 2024

  • SIGMORPHON 2023 内语注释共享任务：基线模型

    本文描述了 SIGMORPHON 2023 共享任务的基线系统，利用 Transformer 架构并将文本生成视为序列标注任务，旨在自动化语言文献编制过程，以节省注释者的宝贵时间和精力。

    Mar, 2023

  • 低资源自动标注的嵌入式翻译

    我们研究了在资源稀缺环境中的自动插入式脚注，并通过从插入式脚注文本中提取的嵌入式翻译信息来增强硬式注意神经模型。在使用大型语言模型（具体是 BERT 和 T5）对这些翻译进行编码后，我们引入了一个字符级解码器来生成插入式脚注输出。在 SIGMORPHON 2023 关于插入式脚注的共享任务数据集上，通过这些改进，我们的模型在平均改善了 3.97 个百分点的基础上，超过了现有技术水平。在模拟的极度资源稀缺环境中，我们系统在仅使用 100 个句子进行训练时，平均改善了 9.78 个百分点，超过了普通硬式注意基线。这些结果突显了翻译信息在提升系统性能方面的关键作用，尤其是在处理和解释有限数据源时。我们的研究结果为语言的记载和保护提供了有希望的途径，在共享任务数据集上表明了与现有技术水平相比的显著进展。

    Mar, 2024

  • 低文档化语言 NLP 中语言专业知识的意义

    本研究指出，利用语言学家的专业知识，IGT 数据可以成功应用于 NLP 项目中，但需要定义任务、语言专业知识和任务评估等步骤，本文以 Gitksan 语 Morphological Reinflection 系统为例详细介绍。

    Mar, 2022

  • 基于预训练的跨语言自然语言生成

    本文使用序列到序列模型进行自然语言生成任务，使用预训练的方法并将编码器和解码器用于单语和跨语言，实现零 - shot 跨语言转移、提高低资源语言的 NLG 性能。

    Sep, 2019

  • 跨语言语言模型预训练

    本文提出了两种跨语言学习模型的方法 (XLMs): 一种是仅依赖于单语数据的无监督方式， 另一种是利用新的跨语言模型目标并使用平行数据的有监督方式。通过这些方法在跨语言分类、无监督和有监督机器翻译中取得了最先进的结果。

    Jan, 2019

  • 跨语言适应多语言预训练语言模型的三重方法

    研究了三种低资源跨语言方法，并在语境学习和微调下发现通过添加额外的主导语言监督信号，对 LLM 的跨语言转移有所改进；同时，发现将目标语言适应词汇重排可能对 ICL 有益，但随着微调而减弱；最后，继续以一种低资源语言进行预训练可提高其他相关低资源语言的模型性能。

    Jun, 2024

  • 语言变色龙：基于预训练语言模型的跨语言后训练转换分析

    本研究采用跨语言后训练 (XPT) 基于单一低资源语言进行了广泛的评估和探测实验，结果显示 XPT 不仅优于或与训练数据数量更多的单语模型的表现相当，而且转移过程非常高效。

    Sep, 2022

  • 使用大语言模型引导多语言语义分析器

    使用大型语言模型通过少量提示将英文数据集转化为多种语言，以实现多语言语义解析，并在两个公共数据集上与传统的翻译 - 训练方法进行比较，表明使用 LLM 更有效。

    Oct, 2022