May, 2022

对比学习暗中进行着随机邻居嵌入

PDF
TL;DR本文探讨了无监督自学习对偶损失模型（SSCL）的理论基础，提出了在随机邻居嵌入（SNE）视角下，使用数据增强构建 “正” 偶对实现了对输入空间对比度的优化，通过与 SNE 对应，进一步提供了方法学指导并证明了使用域不可知增强与隐式偏见得到的潜在优势，同时证明了从 SNE 到 t-SNE 转换的适用性并在实验中取得了相应的优化效果。
contrastive learningself-superviseddata augmentationstochastic neighbor embeddingpairwise distance
发现论文，激发创造
  • 用对比学习进行监督式随机近邻嵌入

    在保留数据集邻近信息的范围内，我们将自监督对比方法扩展到完全监督的设置，以有效利用标签信息。属于同一类别的样本集群在低维嵌入空间中聚集在一起，同时将不同类别的样本集群推开。

    Sep, 2023

  • 对图像数据集进行对比学习无监督可视化

    提出了一种基于对比学习和邻居嵌入的新方法，称为 t-SimCNE，用于无监督可视化图像数据，并在 CIFAR-10 和 CIFAR-100 数据集上展示了信息丰富的聚类结构和异常值。

    Oct, 2022

  • 时间序列预测中构成良好对比学习的因素是什么？

    本文通过系统分析不同的自监督对比学习策略及变量间的相互作用，发现使用 Transformer 模型综合优化 Mean Squared Error (MSE) 损失和自监督对比学习 (SSCL) 是进行时间序列预测的最有效的方法，并可优化预测结果的准确性。

    Jun, 2023

  • 随机聚类嵌入

    本文提出了一种基于邻域嵌入的新型集群可视化方法，使用非归一化 Kullback-Leibler 散度和缩放参数以进一步优化数据聚类的可视化效果。

    Aug, 2021

  • SNCSE: 无监督句子嵌入的对比学习与软负样本

    本文通过引入软负样本和双向边缘损失来改善当前无监督对比学习中的特征抑制问题，在语义文本相似度任务上取得了最优结果。

    Jan, 2022

  • 相似性协同校准的半监督对比学习

    本文提出一种半监督对比学习 (Semi-supervised Contrastive Learning，简称 SsCL) 的训练策略，将自监督学习中著名的对比损失与半监督学习中的交叉熵损失相结合，进而联合优化两个目标，并使用神经网络来实现。结果表明，SsCL 产生了更具有区分性的表示，并对于少样本学习非常有益。在使用 ResNet50 作为后端的 ImageNet 数据集上，SsCL 分别以 1% 和 10% 的标记样本获得了 60.2% 和 72.1% 的 top-1 精度，这比基线要好得多，也优于以前的半监督学习和自监督学习方法。

    May, 2021

  • 邻域增强的监督对比学习在协同过滤中的应用

    我们提出的 Neighborhood-Enhanced Supervised Contrastive Loss (NESCL) 模型在三个真实数据集上， Yelp2018、Gowalla 和 Amazon-Book，相较于原始的 SGL 模型，在 NDCG@20 上分别提升了 10.09%、7.09% 和 35.36%。

    Feb, 2024

  • 预训练句子嵌入的相互强化框架

    本研究基于自监督对比学习方法，提出了一种名为 InfoCSE 的新型框架，用于解决手工数据注释不可靠的问题，通过迭代的自我监督和数据标注反馈，实现了句子表示模型和数据注释方法的相互协作，有效提高了自监督学习的效果。实验证明，该方法在三个基准数据集上取得了显著的改善。

    Feb, 2022

  • 用对比学习支持聚类

    该论文提出了 SCCL 框架，使用对比学习来帮助无监督聚类，有效提升类别间距离，进而在短文本聚类中达到更好的结果。研究表明，SCCL 能够显著提高精度和归一化互信息，同时有效结合自下而上的实例判别和自上而下的聚类来实现更好的聚类效果。

    Mar, 2021

  • 语义对比学习的深度聚类

    本文提出了一种语义对比学习的方法（SCL），将距离的聚类结构引入到无标注数据的特征空间中，并通过优化实例视觉相似性和聚类决策边界的一致性来推理出语义上的实体类别，以在发现未知类别决策边界方面具有显着优势。实验证明，SCL 在六个物体识别基准测试中优于最先进的对比学习和深度聚类方法，尤其是在更具挑战性的精细和较大的数据集上。

    Mar, 2021