BriefGPT.xyz
Oct, 2024
多语言大型语言模型中的概念空间对齐
Concept Space Alignment in Multilingual LLMs
HTML
PDF
Qiwei Peng, Anders Søgaard
TL;DR
本研究探讨了多语言大型语言模型（LLM）在语言间的向量空间对齐问题，这一过程存在一些不足之处。我们发现，较大的模型在不同语言之间的概念对齐质量较高，但通用性主要体现在类型相似的语言和抽象概念中。这项工作揭示了提示基础嵌入的对齐效果优于词嵌入，尽管其投影较不线性，表明一些隐式学习的对齐被提示方法有所破坏。
Abstract
Multilingual
Large Language Models
(LLMs) seem to generalize somewhat across languages. We hypothesize this is a result of implicit
Vector Space
→