利用自由职业键功能鉴定多语种语义轴的一致性。

Jun, 2024

本研究采用独立分量分析技术来揭示单词或图像嵌入的通用规律。研究表明，嵌入可以表示为几个轴的组合，这些语义轴在不同的语言、模态和嵌入算法中一致存在。这一发现有助于模型解释能力的提高，可能促进高度可解释模型的发展和大规模模型的压缩。

May, 2023

本文使用独立分量分析算法分析单词嵌入，发现独立分量可以用于找到单词的语义特征，并可轻松组合这些特征来搜索满足条件的单词，其中稳定性强。

Dec, 2022

本研究提出一种新的解释，将余弦相似度解释为在独立成分分析转换的嵌入空间中的语义相似度之和，通过实验证明了归一化的 ICA 转换后的嵌入具有稀疏性，可以增强可解释性，并利用理想嵌入进行检索实验验证了该解释的有效性。

Jun, 2024

本文提出了一种一维 word embeddings 方法 WordTour，通过用户研究和文档分类实验证明其高效性和有效性。

May, 2022

本研究使用静态词向量嵌入，构建了上下文化的语义轴，以解决反义词有相邻表示的困境，并在两个人类数据集上验证了这些轴的效果：维基百科职业和过去 14 年中极端主义男性社区中的多平台讨论，结果显示上下文化的语义轴可以有效区分同一单词类型的不同实例。

Oct, 2022

词语会随着时间和不同的语境而改变其含义。词语在上下文感知的上下文化词嵌入空间中编码语义变化，在语义变化检测基准中具有卓越性能。本研究通过使用 PCA 和 ICA 转换在预训练的词嵌入和微调后的词嵌入之间进行比较，揭示了几个新的洞察，例如信息如何在嵌入空间中分布和 PCA 能更好地表示语义变化。

Jul, 2024

本研究介绍了如何将先前的知识融入正则化的规范相关分析（CCA）以推导单词嵌入，并在大量数据集上进行了评估。

Sep, 2015

本文对词嵌入进行了主成分分析，并提出了许多新颖且反直观的观察。研究人员进一步说明了方差解释率作为下游任务性能的代理效用，并通过对主嵌入空间的句法探测来展示主成分所捕捉的句法信息与其解释方差的数量不相关，从而调查了基于方差的嵌入后处理的局限性，并证明这种后处理在句子分类和机器翻译任务中是产生反效果的。最后，本文提供了一些关于应用基于方差的嵌入后处理的预防性准则，并解释了非各向同性几何可能是词嵌入性能的一部分的原因。

Oct, 2019

介绍了 Cross-Axis Transformer (CAT) 模型，该模型通过减少浮点运算数量，在图像处理中比 Vision Transformers 更快、更准确地收敛，从而解决了 Vision Transformers 在计算效率和处理空间维度方面的弱点。

Nov, 2023