EMNLPMay, 2022

多语言语言模型表示的几何学

PDF
TL;DR本文使用 XLM-R 为案例研究，研究了多语言语言模型如何在维持共享多语言表示空间同时在每种语言中编码语言敏感信息，并证明了多语言语言模型沿着语言敏感和语言中性轴编码信息，使其能够提取下游任务和跨语言传递学习的各种特征。
multilingual language modelsrepresentation spacelanguage-sensitive informationtoken vocabulariescross-lingual transfer learning
发现论文，激发创造
  • 多语言语言模型的几何：一个平等的视角

    研究了多语言语言模型不同语言的代表性，发现它们在欧几里得空间中是由独特的几何形状表示的，并且设计了跨语言相似性指数来度量语言之间的距离。结果表明，低资源语言在任何模型中都不如高资源语言表现得好。

    May, 2023

  • 发现用于语言无关的多语言表示的低秩子空间

    在这项工作中，我们提出了一种新的方法，通过从多语言嵌入空间中投影掉语言特定因素，以完全利用语义信息，并消除语言身份信号，从而在语义任务中取得更好的结果。

    Jan, 2024

  • 多语言模型中的语言中立子网络发现

    本文使用抽象的彩票票假设，发现不同语言的子网络是拓扑相似的（即语言中性），这使它们成为具有有限性能下降的跨语言转移的有效初始化。

    May, 2022

  • 多语言模型中的性别表征分析

    本文旨在研究多语言语言模型内部表征结构，以性别划分表示为实用案例，分析不同语言之间共享的子空间中性别概念的编码程度，发现共享的显著成分与语言特定成分并存，这解释了一个现象：尽管性别分类在不同语言之间转移表现良好，但在单一语言上训练的性别去除干预并不容易转移到其他语言。

    Apr, 2022

  • 预训练多语言表示的语言中立性

    本文研究了多语种上下文嵌入的语言中性和词汇语义，提出了两种实现更强语言中性的方法，并展示了在不使用平行数据的情况下如何达到语言识别的最新准确率以及匹配平行句子的词对齐统计方法的性能。

    Apr, 2020

  • 诱导语言无关的多语言表示

    本研究提出三种方法以提高跨语言表示的效果，包括将目标语言的向量空间重新对齐到源语言，去除语言特异性的均值和方差，以及通过去除形态和句子重新排序来增加跨语言相似性。研究发现，这些方法联合使用可以降低跨语言转移障碍。

    Aug, 2020

  • 超多语言 LLMs：令牌嵌入的跨语言可解释性

    多语言大型语言模型的跨语言迁移学习是重要的，通过对输入嵌入的相似性进行解释，本研究揭示了语言模型的语言表示，在不同模型族的嵌入中存在语言编码和跨语言语义相似性的差异，这为研究预训练和模型架构对语言表示的影响以及嵌入在语言模型中的跨语言表示的应用提供了机会。

    Nov, 2023

  • 在上下文嵌入中定位语言特定信息

    本研究旨在了解多语言预训练语言模型（MPLMs）在不受监督学习方式下与其多语性之间的关系，指出 MPLMs 的表示是否是语言无关的或与学习任务预测头相互交错，同时，我们定位了 MPLM 中的语言特定信息，并确定其维度和发生这些信息的层次，以及该信息散布在许多维度中，并可投影为线性子空间。

    Sep, 2021

  • 共享跨语言空间中的对齐探索

    利用聚类方法探索多语言模型中的潜在概念，研究多语言嵌入之间的对齐和重叠程度，通过引入两个度量指标 CA 和 CO 进行定量分析，发现网络的深层对齐性较好，模型的微调增强了潜在空间中的对齐性，任务特定的校准有助于解释模型的零射击能力的出现。

    May, 2024

  • 探索多语言语言模型中的异性与异常值对于跨语义句子相似度的影响

    通过对多个预训练的多语种语言模型进行研究，探究其输出中的异常维度和它们对各种跨语言语义相似性任务表现的影响。通常使用在平行资源上进行微调的 sentence transformers 在这些任务中表现更好，且表示更各向同性。研究人员通过不同的操作（例如消除异常维度、聚类基于同性等操作）来改进多语种表示。

    Jun, 2023