在材料领域中量化高维非监督聚类任务中等向性的度量

May, 2023

在材料领域中量化高维非监督聚类任务中等向性的度量

Metrics for quantifying isotropy in high dimensional unsupervised clustering tasks in a materials context

Samantha Durdy, Michael W. Gaultois, Vladimir Gusev, Danushka Bollegala, Matthew J. Rosseinsky

TL;DR本研究提出了一种基于现有推导的新型方法，通过对反应物的不同表征和聚类算法进行全面分析，可以量化簇的各向同性度量以及各向同性的平均度量，并在 Inorganic Crystal Structure Database 和 MNIST 数据集上进行了应用。

Abstract

clustering is a common task in machine learning, but clusters of unlabelled data can be hard to quantify. The application of clustering al

clustering machine learning chemistry isotropy kernel approximation functions

发现论文，激发创造

IsoScore: 量化嵌入空间利用均匀性

通过提出量化点云普遍利用环境向量空间程度的新工具 IsoScore，该文挑战了诸多基于 NLP 文献存在问题的指标的结论。

Aug, 2021

同性、聚类与分类器

本文讨论嵌入空间是否具有各个维度的均匀性，即是否各向同性，并通过实验证明各向同性会使嵌入空间与聚类不兼容，从而对线性分类目标产生负面影响，同时阐明了之前的研究结果。

Feb, 2024

稳定各向异性正则化

本文提出一种新的正则化方法 I-STAR，该方法可以在训练过程中增加或减少嵌入空间中的等向性水平，并发现在大多数任务和模型中减少等向性可以改善性能。

May, 2023

聚类算法的指标对无关特征的敏感性

聚类算法在数据分析中被广泛使用，本文研究了加入无关特征对聚类结果的影响，并发现 Silhouette 系数和 Davies-Bouldin 分数对无关特征最为敏感，因此可用于无监督聚类任务中的特征选择。

Feb, 2024

等方性主成分分析和仿射不变聚类

本文提出了一种基于 isotropic PCA 的 affine-invariant 聚类算法，该算法在混合模型输入的情况下有很强的保证力，特别是在对两个任意高斯混合的分类中结果最佳，对于超过两个的混合，只要存在一个低维度的子空间满足重叠很小的条件，即可得到良好的结果。

Apr, 2008

探索多语言语言模型中的异性与异常值对于跨语义句子相似度的影响

通过对多个预训练的多语种语言模型进行研究，探究其输出中的异常维度和它们对各种跨语言语义相似性任务表现的影响。通常使用在平行资源上进行微调的 sentence transformers 在这些任务中表现更好，且表示更各向同性。研究人员通过不同的操作（例如消除异常维度、聚类基于同性等操作）来改进多语种表示。

Jun, 2023

基于信息的聚类

该研究采用信息理论的视角来重新构造聚类问题，避免了许多现有聚类方法所依赖的非常规结构的假设，且捕捉了非线性关系。基于集体相似度而非传统的成对度量，该方法在不同领域内都表现出比现有算法更高的聚类一致性。

Nov, 2005

自监督语音表示中说话人和语音信息的正交性和等向性

自我监督语音表示对下游语音技术有很大的益处，但其有用性的属性仍然了解甚少。本文引入了一种新的度量方法，即累积残差方差（CRV），用于评估表示空间的两个候选属性：讲话者质心和音素质心所跨越子空间的正交程度，以及空间的各个维度有效利用程度。我们使用线性分类器对六个不同的自我监督模型和两个未经训练的基准模型的语音表示进行了评估，探讨正交性和各向同性是否与线性测试精度相关。研究发现这两个度量与语音测试精度呈正相关，尽管对于各向同性的结果更为微妙。

Jun, 2024

一种基于簇的方法用于改善上下文嵌入空间的等向性

本文提出了一种基于局部聚类的方法来应对上下文嵌入空间中的退化问题，实验证明该方法可以在多个任务上缓解该问题。

Jun, 2021

聚类分析中的形状复杂性

利用多维数据的形状复杂度概念，应用在特定的非线性函数上，制定了一种新的 “中等距离” 下的基于约束的非线性规划问题，从而探索更有效的聚类缩放因子数量的方法。

May, 2022