文章证明了反差编码的损失函数在无限时刻能够最优化归一化特征空间的相似度与均匀分布，并通过实验优化这两个特征的评估，在视觉和语言数据上显著提高效果。

May, 2020

度量空间的规模最近被确定为一种新型不变量，它可以在多个尺度上衡量空间的 ' 有效大小 '。通过捕捉数据的几何和拓扑特性，度量空间可以解决无监督表示学习任务中的挑战。我们形式化了有限度量空间的度量函数之间的新概念差异度，并用它们导出了一种用于降维任务的质量度量。我们的度量可以在数据扰动下保持稳定，计算效率高，并且可以对嵌入进行严格的多尺度比较。我们通过一个实验套件展示了我们度量的实用性，其中包括数据可视化的比较。

Nov, 2023

该论文提出了一个端到端的框架，用于在被观察和未被观察的类别上均保留对比和一致性特性的视觉 - 语义表示，通过同时进行对齐和鼓励学习特征分布均匀的监督式对比损失来促进模型的泛化能力，实验结果表明该方法在 UCF101 和 HMDB51 上的相对改进分别达到 28.1% 和 27.0%。

Mar, 2022

该研究提出了一种基于变换后的注意力图的无监督深度度量学习方法，通过学习图像在比较中产生的视觉注意图的一致性，使用孪生深度神经网络对图像及其变化或匹配对进行编码和比较，并采用三元损失和对比聚类损失来增强生成特征的跨类别差别能力，实验结果表明该方法在无监督度量学习方面的表现超越了当前的最先进方法。

Aug, 2020

研究了评估深度神经网络自监督学习中表示质量的多种方法，包括信息嵌入量、线性可分性等，通过实验结果发现了可以无监督评估嵌入质量的方法。

May, 2023

本研究提出了一种基于嵌入正则化约束的神经主题模型，引入了嵌入空间的均匀性度量，通过剔除不必要的参数优化空间，研究嵌入的变化对于模型性能的影响，以此实现主题质量和文档建模之间的平衡。

Jun, 2022

本文研究了无监督对比学习中对比损失的行为特性，发现一种均匀性与相似性之间的权衡关系，通过调节温度参数可以达到学习可分离特征和容错相似样本的效果。

Dec, 2020

通过引入源准确度和数据增强，本文提出了一种新的无监督领域适应度评估指标，名为增强一致性度量。通过大规模实验证明了该指标的有效性，并且在四个常见基准测试中，相比手动调优的超参数集，自动搜索得到的超参数集表现更加优越。

Aug, 2023

我们提出了一种针对基于聚类的自主学习（SSL）的全新客观函数，旨在解决表示坍塌、聚类坍塌和集群分配排列不变性等三种失败模式的问题。我们的目标函数包含三个关键组成部分：（i）惩罚表示坍塌的生成项，（ii）促进对数据增强的不变性，从而解决标签排列问题，以及（ii）惩罚聚类坍塌的一致性项。此外，我们的目标函数具有两个值得注意的优点：首先，从贝叶斯的角度来看，它可视为数据对数似然的下界。其次，它可以训练标准的主干架构，无需使用诸如停止梯度、动量编码器或专门的聚类层等非对称元素。通过其简洁性和理论基础，我们提出的目标函数非常适合优化。在玩具数据和实际数据的实验中证明了其有效性。

Sep, 2023

本文提出了一种基于无监督聚类算法的伪标签来生成深度度量学习中的标签，使用自监督 (SS) 任务的无监督深度度量学习 (UDML)，并通过预测图像旋转来规范化训练过程，从而实现了聚类嵌入、自监督预期任务和一致性优化的联合学习。

Nov, 2019