用对比学习进行监督式随机近邻嵌入
本文探讨了无监督自学习对偶损失模型(SSCL)的理论基础,提出了在随机邻居嵌入(SNE)视角下,使用数据增强构建 “正” 偶对实现了对输入空间对比度的优化,通过与 SNE 对应,进一步提供了方法学指导并证明了使用域不可知增强与隐式偏见得到的潜在优势,同时证明了从 SNE 到 t-SNE 转换的适用性并在实验中取得了相应的优化效果。
May, 2022
提出了一种基于对比学习和邻居嵌入的新方法,称为 t-SimCNE,用于无监督可视化图像数据,并在 CIFAR-10 和 CIFAR-100 数据集上展示了信息丰富的聚类结构和异常值。
Oct, 2022
我们提出的 Neighborhood-Enhanced Supervised Contrastive Loss (NESCL) 模型在三个真实数据集上, Yelp2018、Gowalla 和 Amazon-Book,相较于原始的 SGL 模型,在 NDCG@20 上分别提升了 10.09%、7.09% 和 35.36%。
Feb, 2024
本文对 t-SNE 算法的理论框架进行了研究,在梯度下降法的基础上提出了一种新的理论框架;对于 t-SNE 的 embedding 阶段,文中还对其低维映射的运动学进行了表征和说明。通过本文,我们发现了 t-SNE 的内在机制并说明其在可视化聚类数据方面具有非凡的实用性。
May, 2021
我们提出了两个互补的、方向感知的损失项,用于优化 t-SNE 的目标函数,强调数据的时间属性,指导优化和生成的嵌入结果,以显示出可能被忽略的时间模式。通过促进定向边的局部方向性,我们的方法产生了更具有时间意义且不那么混乱的可视化结果。
Mar, 2024
本论文介绍了一种名为 FIt-SNE 的快速傅里叶变换加速插值 t-SNE 方法和 out-of-core PCA 方法,这些方法可以加速 t-SNE 的计算,并允许在资源有限的计算机上计算大型数据集的 t-SNE。
Dec, 2017
我们提出了一种修改对比损失函数来调整学习特征嵌入几何结构的方法,通过使用原型在每个批次中引导学习嵌入和原型的几何一致性,并在深度神经网络上基于基准视觉数据集进行了一系列实验证实。
Oct, 2023
本文提出一种半监督对比学习 (Semi-supervised Contrastive Learning,简称 SsCL) 的训练策略,将自监督学习中著名的对比损失与半监督学习中的交叉熵损失相结合,进而联合优化两个目标,并使用神经网络来实现。结果表明,SsCL 产生了更具有区分性的表示,并对于少样本学习非常有益。在使用 ResNet50 作为后端的 ImageNet 数据集上,SsCL 分别以 1% 和 10% 的标记样本获得了 60.2% 和 72.1% 的 top-1 精度,这比基线要好得多,也优于以前的半监督学习和自监督学习方法。
May, 2021