BriefGPT.xyz
May, 2023
通过ICA发现嵌入中的通用几何形状
Discovering Universal Geometry in Embeddings with ICA
HTML
PDF
Hiroaki Yamagiwa, Momose Oyama, Hidetoshi Shimodaira
TL;DR
本研究采用独立分量分析技术来揭示单词或图像嵌入的通用规律。研究表明，嵌入可以表示为几个轴的组合，这些语义轴在不同的语言、模态和嵌入算法中一致存在。这一发现有助于模型解释能力的提高，可能促进高度可解释模型的发展和大规模模型的压缩。
Abstract
This study employs
independent component analysis
(ICA) to uncover
universal properties
of
embeddings
of words or images. Our approach ext
→