通过提出量化点云普遍利用环境向量空间程度的新工具 IsoScore，该文挑战了诸多基于 NLP 文献存在问题的指标的结论。
Aug, 2021
分析 fine-tuning 预训练语言模型后嵌入空间异构性的变化，证明 fine-tuning 并不能使嵌入空间的等向性增强，还发现 fine-tuning 会导致预训练的 CWRs 中的局部结构发生巨大变化，使得原有的等向性增强方法失效。
Sep, 2021
研究表明预训练语言模型，如 BERT，在自然语言处理方面具有更广泛的应用价值。本文探究和分析预训练 BERT 嵌入的几何特征，提出一种基于可学习权重的简单而有效的方法，可以更好地处理向量的同一性问题，并在三项标准任务中获得较好的性能表现。
Apr, 2021
通过对多个预训练的多语种语言模型进行研究，探究其输出中的异常维度和它们对各种跨语言语义相似性任务表现的影响。通常使用在平行资源上进行微调的 sentence transformers 在这些任务中表现更好，且表示更各向同性。研究人员通过不同的操作（例如消除异常维度、聚类基于同性等操作）来改进多语种表示。
Jun, 2023
本研究使用 Normalizing Flow 和 whitening 等无监督的后处理方法，提出一种基于令牌和序列的方法来处理密集检索模型的表示，优化 BERT 表示的各向同性分布，实验结果表明，这种方法可以显著提高文档排序的性能，并在处理不同的测试数据集时具有潜在的鲁棒性。
Sep, 2022
研究了上下文单词表示模型的词义消歧能力，发现多数深度预训练语言模型的上下文单词表示在几何结构上高度异性化，并存在表示退化问题，提出了一种低异性度词义修正方法（LASeR），以解决上下文单词表示的表示退化问题。
本文提出一种新的正则化方法 I-STAR，该方法可以在训练过程中增加或减少嵌入空间中的等向性水平，并发现在大多数任务和模型中减少等向性可以改善性能。
May, 2023
本文讨论嵌入空间是否具有各个维度的均匀性，即是否各向同性，并通过实验证明各向同性会使嵌入空间与聚类不兼容，从而对线性分类目标产生负面影响，同时阐明了之前的研究结果。
Feb, 2024
利用表示规范化和 Kernel-Whitening 可以提高 BERT 在分布外数据集上的性能，同时保持分布内准确性。
Oct, 2022
本文提出了一种名为 SimDRC 的简单方法，用于创建各向同性的、符合对话结构信息的特征空间，以解决当前对话建模方法中上下文表示具有各向异性和非对话的问题，并在三个对话任务上显著优于现有最先进模型。
May, 2022