Dec, 2022

所知多语言影响学习多语言的方法：语言特性对多语言文本转换的影响

PDF
TL;DR本文在分析预训练 mT5 模型对 90 种语言对之间交叉语言联系学习时，发现源语言和目标语言的语法、形态和音韵相似度对于跨语言传递的表现具有良好的预测性，可望提高零样本性能表现。
发现论文，激发创造
  • 跨语言迁移中多源语言训练的分析

    多语种语言模型，交叉语言迁移，源语言，嵌入空间，语言组合

    Feb, 2024

  • BERT 多语言模型的时间？分离跨语言传输的关键要素

    该论文在多语言语言模型上进行了大规模实证研究，并发现词嵌入的对齐程度与零 - shot 迁移的性能密切相关，因此需要在多语言模型中专门改善词嵌入的对齐程度。

    Oct, 2021

  • 以字节衡量跨语言转移

    通过实验证实，多语言预训练可以在源语言和目标语言之间进行跨语言迁移，且不仅语言污染和语言近似性是影响迁移的因素，还有一种语言无关的知识组件，可以用于跨语言迁移和知识传递。

    Apr, 2024

  • 多语言 BERT 的跨语言能力：实证研究

    通过在不同语言和不同自定义 NLP 任务上的实验研究，本文详细研究了 M-BERT 中不同组建在其跨语言能力中的贡献，发现词汇重叠在跨语言成功中起到微不足道的作用，而网络深度则是成功的一个重要因素。

    Dec, 2019

  • 多语言遮蔽语言模型的跨语言能力：语言结构研究

    研究了多语言预训练语言模型的跨语言能力，得出结论组成是成功的跨语言转移的关键因素。

    Mar, 2022

  • 多语言语言模型跨语言转移因素的共同理解：一篇综述

    本综述论文旨在调查不同因素对多语言预训练语言模型实现零 - shot 跨语言转移的贡献，提供了对过去研究的实证证据概要，并识别一致性结果以及解决矛盾之处，进而为未来研究提供参考点与指导。

    May, 2023

  • 多语言 BERT 中的跨语言句法差异：好不好及其对迁移的影响？

    该论文研究了多语言 BERT（mBERT）对 24 种不同语言的语法关系的分布，发现该分布与语言形式差异高度一致，提示 mBERT 以与语言多样性一致的方式正确编码语言，并揭示了跨语言传输机制的内在机理。

    Dec, 2022

  • 跨语言调整上下文词表示对零 - shot 迁移的影响

    本研究使用已训练好的 mBERT 模型对英语模型进行零样本迁移，并尝试采用小型平行语料库进行跨语言调整以提高性能表现，结果表明跨语言调整对不同语言的自然语言处理任务表现效果显著，且可以提高语义相似词汇的嵌入向量距离。

    Apr, 2022

  • 分析监督式 NLP 任务中的零样本跨语言迁移

    本文论述了跨语言零 - shot 迁移的问题，并通过对 XLM-RoBERTa 进行实验，研究机器阅读理解、情感分析和句子嵌入对跨语言迁移的影响。发现跨语言迁移在语义文本相似度检验（STS）中表现最强，情感分析次之，机器阅读理解中表现最弱。

    Jan, 2021

  • 对抗性数据集上跨语言迁移至资源较少的语言的鲁棒性

    多语言语言模型（MLLMs）展现了强大的跨语言转移能力，本研究旨在调查源语言应用于目标语言的效果，特别是在扰动输入测试集的情况下，发现命名实体识别的跨语言转移主要取决于实体块的重叠，研究结果提供了宝贵的跨语言转移见解并强调了在跨不同语言时考虑语言细微差异和潜在限制的必要性。

    Mar, 2024