May, 2023

mPLM-Sim：多语言预训练语言模型中更好的跨语言相似性和迁移揭示

PDF
TL;DR本文提出了一种新的多语言相似性度量方法 mPLM-Sim，通过从 mPLMs 中使用多语言并列语料库感知不同语言之间的相似性，结果表明该方法较传统的语言相似性度量方法具有更高的相关性，并在零 - shot 跨语言转移任务中展现了更好的效果。
发现论文，激发创造
  • 利用语言相似性进行零样本跨语言转移语言选择

    研究使用语言相似性来选择最佳的迁移语言，从而提高在情感分析、命名实体识别和依赖解析等不同自然语言处理任务中的跨语言迁移性能。

    Jan, 2023

  • 多语言蒸馏和零样本感知训练的跨语言文本分类

    利用教师 - 学生框架从高性能的单语言模型中转移知识，构建了一个基于 MPLMs 的多语言分支模型（MBLM），并使用零射击感知的训练策略令模型从所有分支的零射击表示中学习，我们的方法仅使用任务的监督数据，提高了 MPLMs 的监督性能和零射击性能。

    Feb, 2022

  • 探索 LLM 训练中跨语言对齐的出现

    多语言大型语言模型通过隐式对齐语言和神经元重叠达到零 - shot 跨语言转移性能，本研究使用内在探测技术通过检查点观察到神经元重叠和下游性能之间的高相关性，同时探测到预训练过程中隐式对齐和多语言能力的退化现象，为多语言预训练动态提供了新的见解。

    Jun, 2024

  • 在上下文嵌入中定位语言特定信息

    本研究旨在了解多语言预训练语言模型（MPLMs）在不受监督学习方式下与其多语性之间的关系，指出 MPLMs 的表示是否是语言无关的或与学习任务预测头相互交错，同时，我们定位了 MPLM 中的语言特定信息，并确定其维度和发生这些信息的层次，以及该信息散布在许多维度中，并可投影为线性子空间。

    Sep, 2021

  • 超多语言 LLMs：令牌嵌入的跨语言可解释性

    多语言大型语言模型的跨语言迁移学习是重要的，通过对输入嵌入的相似性进行解释，本研究揭示了语言模型的语言表示，在不同模型族的嵌入中存在语言编码和跨语言语义相似性的差异，这为研究预训练和模型架构对语言表示的影响以及嵌入在语言模型中的跨语言表示的应用提供了机会。

    Nov, 2023

  • 大语言模型的同时机器翻译

    利用大型语言模型进行同传机器翻译，在训练推理不匹配的问题上引入了简单而有效的混合策略，并且通过在完整和前缀句子的混合训练上进行监督微调，实现了显著的性能改进，证明大型语言模型可以在翻译质量和延迟方面达到与专用同传机器翻译模型相当的水平。

    Sep, 2023

  • 预训练的多语言语言模型在零差生成中的实证研究

    通过在一个语言上对多语言预训练语言模型（mPLM）进行微调，再在其他语言上使用它进行预测，零样本跨语言生成通常会出现使用错误语言生成的问题，本研究测试了替代的 mPLMs（如 mBART 和 NLLB），考虑到全微调和适配器参数高效微调，并发现带适配器的 mBART 的性能与相同规模的 mT5 相似，NLLB 在某些情况下具备竞争力，还强调了微调中学习率的调整对缓解错误语言生成问题的重要性。

    Oct, 2023

  • 通过教师语言选择和跨语言自蒸馏减轻 mPLMs 中的语言性能差异

    ALSACE 使用学到的知识从表现优秀的语言中指导同一多语言预训练语言模型内表现较差的语言，有效地减少了语言级别的性能差异，同时在不同的多语言自然语言理解任务中展现了竞争力。

    Apr, 2024

  • 使用预训练语言模型进行零样本多语言词义消歧

    本文使用 Contextual Word-Level Translation 扩展了 Pretrained Language Models 来探究 PLM 对跨语言词义的捕捉能力，进而提高零样本单词语义消歧的效果，结果表明我们的方法在多种语言上的效果均好于监督学习基线。

    Apr, 2023

  • GreenPLM: 几乎无成本的跨语言预训练语言模型转换

    本研究提出了一种基于双语词典的能效框架 GreenPLM，将一种语言模型直接翻译到其他语言，以促进 NLP 研究中所有语言使用者的机会均等和减少能源消耗。18 种语言的验证结果表明，该框架相较其他有高成本的启发式算法的性能优越，并且在低计算成本下表现良好。

    Nov, 2022