Sep, 2023

基于评分规则最小化的概率自监督学习

PDF
TL;DR本文提出了一种通过 Scoring Rule Minimization 进行的新型概率自监督学习方法（ProSMIN），利用概率模型增强表示质量和减少崩溃表示，我们的方法通过两个神经网络（在线网络和目标网络）协作学习彼此的多样表示分布，通过知识蒸馏，通过以不同增强视图呈现的输入样本，训练在线网络预测目标网络同一样本的表示，两个网络通过基于适当评分规则的新损失函数进行训练，我们为 ProSMIN 的收敛提供了理论证明，证明了其修改后的评分规则的严格适当性，这一见解验证了该方法的优化过程，并有助于提高表示质量的鲁棒性和效果，在如 InageNet-O 和 ImageNet-C 等大规模数据集上的各种下游任务上评估了我们的概率模型，ProSMIN 在精度和校准方面表现出卓越的能力，超越了自监督基线，在广泛的实验中证明了其可伸缩性和实际适用性。
probabilistic self-supervised learningrepresentation qualitycollapsing representationsknowledge distillationscoring rules
发现论文，激发创造
  • SimPro: 一个简单的基于概率的真实长尾半监督学习框架

    在这项研究中，我们提出了一个新颖的、高度适应的框架 SimPro，它不依赖于对未标记数据分布的任何预定义假设。基于一种概率模型，我们创新地改进了期望最大化（EM）算法，通过明确分离条件和边际类别分布的建模来实现。这种分离在最大化阶段为类别分布估计提供了一个闭合形式的解，从而推导出贝叶斯分类器。而贝叶斯分类器则提高了期望阶段中伪标签的质量。值得注意的是，SimPro 框架不仅具备理论保证，而且易于实现。我们还引入了两种新颖的类别分布，扩大了评估的范围。我们的方法在不同基准和数据分布场景下展示了一致的最先进性能。

    Feb, 2024

  • 自监督元图 Informax 网络的社交推荐

    该研究提出了一种利用社交网络信息进行协同过滤推荐的方法，通过设计元路径引导的异构图神经网络和自监督图协同过滤来建立用户偏好表示，以探索全局协作关系和基于图拓扑的同构变换性质，实现对用户行为四面八方的评估。实验结果表明，在多种实际数据集上，该方法优于其他各种最先进的推荐方法。

    Oct, 2021

  • 可扩展的 Infomin 学习

    利用新的代理度量和一种准确且可分析计算的近似方法提出了一种新的 infomin 学习方法，该方法可有效地去除不需要的信息，适用于公平预测模型，去相关表征学习和领域自适应。

    Feb, 2023

  • ProS：基于原型的自我蒸馏的面部全方位表示学习

    该论文提出了一种名为 ProS 的新方法，用于无监督的人脸表示学习，通过利用大量未标记的人脸图像进行综合的面部全表示学习，并通过原型匹配损失来增强学到特征的区分性，进一步针对不同任务进行微调，取得了领先的性能，同时还探讨了利用合成人脸图像进行预训练的效果。

    Nov, 2023

  • 自主标记：同时聚类与表示学习

    本文提出了一种通过最大化标签和输入数据索引之间的信息来解决标签聚类与表示学习相结合的问题的新方法。该方法可以有效地对数以百万计的输入图像和数以千计的标签进行自标注，以训练高度竞争的图像表示，具有优于现有模型的性能。

    Nov, 2019

  • 减轻非监督句子表示中的过度平滑

    本文介绍一种名为自对比学习（SSCL）的简单方法，用于学习无监督的句子表示，并基于该方法构建一个插入式对比框架，从而提高性能，并在语义文本相似度和转移数据集上超越了不同强大基线（如 BERT 和 SimCSE）。

    May, 2023

  • 通过平衡学习提高特征质量的锐度感知最小化

    Sharpness-Aware Minimization (SAM) 提供了一种替代随机梯度下降（SGD）的有效优化器，该方法通过平衡特征质量来改善数据集中冗余特征的学习。

    May, 2024

  • 自监督 GAN：多类极小极大博弈分析和改进

    本文针对 GAN 模型中的模式崩溃问题，提出了基于多类极小极大博弈的自监督任务。实验表明，该方法在多个数据集上表现出了优异的性能，创造了良好的状态。

    Nov, 2019

  • 生成建模中的评分不匹配

    我们提出了一个具有一步采样的基于分数的模型，通过训练一个独立的生成器，用从分数网络反向传播的梯度来压缩所有时间步骤，以产生对于生成器有意义的梯度，并使分数网络同时匹配真实数据分布和伪造数据分布，该模型具有采样快速、训练简单且免除了由一致性损失引起的不适定问题的优势，通过在 CIFAR-10 数据集上进行实验证明了该框架的潜力，并在 MINIST 和 LSUN 数据集上提供了更多示例。

    Sep, 2023

  • 信息最大化准则的自监督学习

    本文介绍一种基于互信息的 self-supervised 方法 CorInfoMax，该方法通过最大化高斯混合分布下的互信息解决了 mode collapse 和 dimensional collapse 问题。

    Sep, 2022