Oct, 2020

自监督排序用于表示学习

PDF
TL;DR本文提出了一个新的自监督表征学习框架，将其作为图像检索环境中排名问题来进行，通过从图像中获取大量随机视图（增强）来解决此问题，该框架称为 S2R2。在 STL10 和 MS-COCO 上进行训练，S2R2 优于 SimCLR 和基于聚类的对比学习模型 SwAV，而且更加简单。在 MS-COCO 上，S2R2 的性能优于 SwAV 和 SimCLR，这表明 S2R2 在多样场景下更为有效，可以消除自监督表征学习对于以对象为中心的大型训练数据集的需求。
self-supervised representation learningranking problemimage retrievalrandom viewslearning to rank
发现论文，激发创造
  • 随机数据投影的自监督表示学习

    使用无监督学习通过重建随机数据投影来学习高质量数据表示，该方法适用于不同数据模态和网络架构，并超过了多个最先进的无监督学习基线模型的性能。

    Oct, 2023

  • 显式与隐式语义排名框架

    本文介绍了一种基于转换器的语义学习排序框架，Self-training Semantic Cross-attention Ranking（sRank）。在 Microsoft 的两个行业任务 Smart Reply（SR）和 Ambient Clinical Intelligence（ACI）中获得了质量和效率方面的实质性收益，PPG 得分都得到了提高，能够为客户提供技术支持和在医疗笔记中提供指导。

    Apr, 2023

  • 自监督关系推理的表示学习

    本研究提出了一种新型的自监督关系式推理算法，通过学习如何区分实体之间的关系，使得在底层神经网络骨干中具备丰富的关系描述能力。该算法在标准数据集、协议和骨干模型上的实验结果表明，它的准确性比现行同类算法平均提高 14％，比最近的最先进算法提高 3％，对提高下游任务的表现非常有效。

    Jun, 2020

  • 高效有效的自监督视觉表示学习

    本研究提出一种新的辅助任务 —— 旋转预测，用于加强现有最先进的基于相似性和对比性方法，并在多个数据集上证明了我们的方法能显着提高性能。

    Oct, 2022

  • RankCSE: 无监督学习排序的句子表示

    本文提出了一种新方法 RankCSE，将排名一致性和排名蒸馏与对比学习相结合，用于无监督学习句子表示，实现了语义区分的句子表示，该方法在语义文本相似性任务和转移任务中表现出优异的性能。

    May, 2023

  • 自监督模型的表示质量理解

    本文研究了 6 种最先进的自监督学习模型的表示空间，发现了对应于图像中独特物理属性的高活性功能，并提出了用于预测样本是否可能被错误分类的自监督表示质量得分（或 Q-Score）和用于改善低质量表示的正则化项。在多个基准数据集上进行的试验表明，使用 Q-Score 正则化可以提高模型的性能，我们还定义了一种指标来量化表示的可解释性。

    Mar, 2022

  • 自监督视觉表征学习的传递不变性

    文章介绍了一种利用自监督学习的图形结构来学习具有不变性特征的视觉表示，并应用该表示在不同的识别任务中取得了显著性能提升。

    Aug, 2017

  • 面向对比表示学习的理论驱动的自标签细化方法

    本文提出并证明：传统的无监督对比学习的标签裁定策略会降低图像检索的性能，本文的自标记策略包括自标记精炼器和动量混合，可以提高无监督对比学习的泛化性能和预测准确性，实验表明本文算法在 CIFAR10、ImageNet、VOC 和 COCO 数据集上有效。

    Jun, 2021

  • 自监督学习在 CNN 中的无标签数据利用

    本文介绍了一种使用排序作为代理任务的自监督学习方法，以及一种有效的后向传播技术，使用该方法可以在标记数据和无标记数据上同时进行回归任务和排序任务的训练，结果表明使用自监督学习可以在图像质量评估（IQA）和人群计数方面实现更好的结果，并且利用无标记数据的信息量衡量方法可以使半监督学习方法的标记代价降低 50％。

    Feb, 2019

  • 自动发现和学习新的视觉类别：基于排序统计学的方法

    本文针对在一个图像集合中发现新类别的问题，提出结合自监督学习、排名统计和联合目标函数优化的方法，使用带标签和未标记数据训练数据表示模型，成功应用于标准分类基准测试中，显著优于现有的方法。

    Feb, 2020