多语言表示的联合矩阵因式分析

EMNLPOct, 2023

A Joint Matrix Factorization Analysis of Multilingual Representations

Zheng Zhao, Yftah Ziser, Bonnie Webber, Shay B. Cohen

TL;DR我们提出了一种基于联合矩阵分解的分析工具，用于比较多语言和单语言模型的潜在表示。我们使用这个工具，研究了多语言预训练模型学习的表示中在何种程度上和如何反映了形态句法特征。通过对 33 种语言和 17 种形态句法类别进行大规模实证研究，我们发现不同的形态句法信息在不同层次的编码中存在差异，这些差异受到语言属性的影响。对分解输出进行层次聚类得到了一棵树状结构，与由语言学家手工制作的系统发生关系的系统发生树。此外，我们发现分解输出与不同的跨语言任务中观察到的性能之间存在强关联。我们发布了我们的代码以促进未来的研究。

Abstract

We present an analysis tool based on joint matrix factorization for comparing latent representations of multilingual and monolingual models. An alternative to probing, this tool allows us to analyze multiple sets of representations in a joint manner. Using this tool, we study to what e

latent representations multilingual pre-trained models morphosyntactic features empirical study cross-lingual tasks

发现论文，激发创造

探究 LLMs 对语言类别的联合编码

大型语言模型研究中发现的语言层次结构及其对语法任务的编码方式提供可解释性证据。

Oct, 2023

组合式分布式语义的多语言模型

通过基于多语种数据和联合嵌入的分布式假设扩展学习语义表示的新技术，学习出在跨语言上语义等价的句子之间高度对齐而在不相似的句子之间保持足够距离的表示。此方法不仅适用于单词层面，还可以对文档进行语义层面的表示学习。在两个跨语言文档分类任务上，我们的模型都能胜过之前的最佳成果，并通过定性分析和枢轴效应研究证明了我们学习到的语义表示合理且能够捕捉跨语言语义关系。

Apr, 2014

神经因子图模型用于跨语言形态标记

本研究提出了一种基于神经网络潜在能力的因子条件随机场模型，可用于语言之间的跨领域形态标注技术，在低资源语言中展现出卓越的标注准确性。

May, 2018

借助多视角语言表示桥接语言类型学和多语机器翻译

将来自语言数据库和多语言机器翻译等任务的稀疏语言向量相结合，使用奇异向量典型相关分析方法进行研究，发现这两种方法的关联性可嵌入语言类型学和语言谱系学，实现了对多语种机器翻译的优化，而且无需大规模的多语种编排，便于新语种的测量。

Apr, 2020

从隐藏特征中学习：联合因子分析与潜在聚类

本文提出了一种联合因子分析和潜在聚类的框架，旨在学习矩阵和张量数据的聚类感知低维表示。该方法利用矩阵和张量分解模型来揭示潜在聚类结构，并通过潜在聚类结构作为先验信息来提高因子分解的性能。

May, 2016

用阶乘隐马尔可夫模型学习自然语言表达

为了将全局上下文纳入表示学习，我们开发了一种表示学习算法，该算法将联合预测纳入其生成单词特征的技术中，并使用变分分布生成对每个单词敏感于整个输入序列而不仅是局部上下文窗口的特征，在词性标注和分块实验中，这些特征表现出与或优于现有最先进的表示学习方法。

Dec, 2013

探究规模化多语言 NMT 表示

本研究使用 Singular Value Canonical Correlation Analysis（SVCCA）分析了包含 103 种语言的 NMT 模型，发现不同语言的编码器表示会基于语言相似性聚集，源语言和目标语言的表示相互依赖，并且高资源和 / 或语言相似性更强的语言在任意语言对上进行微调时更为稳健，这些结论对于跨语言转移学习非常重要，并进一步联系到现有的实证观察。

Sep, 2019

同一神经元，不同语言：探究多语言预训练模型中的形态语法

该研究采用神经元级别探测器，在包括 43 种语言的 14 个形态句法类别上进行了大规模的实证研究，并发现了多语言预训练模型的跨语言重叠是显著的，但其范围可能因语言接近性和预培训数据的大小而异，支持其能够对语法进行语言通用的抽象。

May, 2022

使用 Fisher 信息矩阵在多语言翻译模型中聚类伪语系

通过使用费舍尔信息矩阵（FIM）将语言家族进行聚类，我们提出了一种创新的方法来解决多语言翻译模型训练阶段数据集变化所带来的挑战，并定义了伪语言家族。实证评估结果显示，采用这些伪语言家族能够在适应陌生语言对的多语言翻译模型中提高性能，该方法也可扩展到对语言相似度进行测量的场景。

Dec, 2023

多语言语言模型表示的几何学

本文使用 XLM-R 为案例研究，研究了多语言语言模型如何在维持共享多语言表示空间同时在每种语言中编码语言敏感信息，并证明了多语言语言模型沿着语言敏感和语言中性轴编码信息，使其能够提取下游任务和跨语言传递学习的各种特征。

May, 2022