- AAAI通过对齐和均匀性重新思考图形遮罩自编码器
通过在理论上构建 GraphMAE 和 GCL 之间的桥梁，我们证明了 GraphMAE 中的节点级重构目标隐含地执行上下文级 GCL，并指出了 GraphMAE 在对齐性和一致性方面的局限性。为了解决这些限制，我们提出了一种增强的对齐一致 - 一个概率模型解释自监督表示学习
自监督学习在生成的潜在变量模型和对比方法的框架下，提出了一种能够改善性能、实现任务无关性表示的方法。
- 3DTINC: 基于时间等变非对比学习的长期 OCT 预测疾病进展模型
提出一种基于非对比学习的新的纵向自监督学习方法 3DTINC，利用特定于 OCT 的数据增强来学习 3D 光学相干断层扫描（OCT）体积的扰动不变特征，实验证明使用这种方法学习到的时间信息对于预测视网膜疾病（如年龄相关性黄斑变性（AMD）） - 利用正向相似度和聚类离散度学习提升聚类表示
本研究提出了一种名为 PIPCDR 的全新端到端深度聚类方法，它同时利用对比方法和非对比技术的优势，解决了类碰撞问题和聚类崩溃问题，通过正样本邻近损失和聚类分散正则化器实现了生成良好分离聚类和均匀表示的目标，并在大规模数据集上取得了最新的技 - EMNLP基于自监督学习的非对比句子表示
通过比较对比句子嵌入方法中的标准基准 SimCSE 与计算机视觉社区中被称为维度对比的自监督损失函数和方法，我们发现使用维度对比目标训练的自监督嵌入能够在下游任务中胜过 SimCSE 而无需辅助损失函数。
- 自监督学习中的信息流
本文通过矩阵信息理论的视角提供了一个全面的工具箱，用于理解和增强自监督学习方法，其中包括对比方法、特征去相关方法的统一分析，并提出了基于矩阵信息理论的矩阵变分掩膜自编码器 (M-MAE) 方法作为对掩膜图像建模的一种增强方法。经验证实，M- - 电子健康记录中的生存分析的时间差异对比学习
该研究论文介绍了一种新颖的基于本体和时间的对比存活分析框架（OTCSurv），通过使用被审查和观察数据中的生存期来定义时间的独特性，并且构建可调节难度的负样本对进行对比学习，以预测住院患者发展急性肾损伤（AKI）的风险，并通过广泛的实验验证 - 非局部图的多分辨结构视图对比学习
学习异质图的节点级表示对于欺诈者检测和蛋白质功能预测等各种应用至关重要。为了解决传统节点表示无法捕捉高阶图结构的问题，我们提出了一种新颖的多视图对比学习方法，通过在图上集成扩散滤波器，捕捉异质图中的结构等价性，发现传统节点表示中隐含的关系和 - 多相似性对比学习
基于多个相似性度量的新型多相似性对比损失（MSCon）提供了在不同相似关系下学习可推广嵌入的方法，通过自动学习对应相似性的对比权重，降低不确定任务的影响，从而在内部和外部领域中优于最先进的基准模型。
- 无需补丁对应的补丁级对比，以实现准确和稠密的对比表示学习
ADCLR 提出了一种新的自监督学习框架，能够实现准确、密集的视觉表示学习，对比实验表明该方法优于其他基于对比学习的方法。
- KDD基于聚类的图表征学习加速
本文提出一种聚类学习框架 CARL-G，使用 Cluster Validation Indices（CVI）衡量质量，适用于不同的聚类方法，相对于基线提高了 79 倍的训练速度，并在节点聚类和相似性搜索任务中表现出色。
- ICML反差式贝叶斯自适应深度强化学习
本文提出了一种基于对比学习方法的元 RL 算法 ContraBAR，可以在状态观测及基于图像观测的领域中有效地学习 Bayes 最优行为，并可以与图像增强相结合，用于领域随机化，并可以无缝地应用于在线和离线元 RL 设置。
- ICLR自监督对比方法在长尾数据上的温度调度
本研究分析了一种被广泛应用于自我监督学习中的对比度方法在长尾数据上的表现，发现通过动态调整温度参数可以显著提高学习表示，平衡了实例与组特征的重要性，并且在不增加计算成本的情况下，有助于完善类别的划分。
- Atari 游戏中部分可观测无监督表示学习
本文提出了一种用于部分可观测状态的无监督状态表示学习方案，相比受监督学习的 ST-DIM 方法在 Atari 游戏中的表现提高了，平均准确率得分达到了约 66％，平均 F1 得分为约 64％。
- ECCV非对比性孪生表示学习中的崩溃理解
通过对 SimSiam 两个非对比损失方法进行实证分析，研究发现 SimSiam 对数据集规模和模型大小非常敏感，并提出用崩溃度量来衡量降维崩溃的程度，进而预测下游任务性能。同时，采用持续学习模式作为规范器可以预防模型的崩溃，并提出一种持续 - 对比自监督学习与非对比自监督学习之间的二元性
本文探讨了施加对比方法与协方差为基础的非对比方法的理论相似性，说明在合理的假设下它们是等效的。作者介绍了一些改进和变化，证明了这种理论结果，提出了更好的网络设计和超参数调整，可以让不同的 SOTA 方法更好地融合，以建立更好的自监督学习方法 - 对比自监督学习和非对比自监督学习恢复全局和局部谱嵌入方法
本文提出了一种基于谱流形学的统一框架，以解决自监督学习方法的局限性并提供有意义的表示学习方法，通过将 VICReg，SimCLR 和 BarlowTwins 等自监督学习方法与谱方法相对应，得到了闭合形式的最佳表示以及线性区间内的网络最佳参 - 生成还是对比？短语重构用于优化句子表示学习
通过短语重构提出一种新的生成式自监督学习方法，其产生的句子表示在句子文本相似性方面表现与对比式方法相当。
- 生成模型作为多视角表示学习的数据源
研究了从黑盒生成模型而不是数据直接学习通用视觉表达式的设置，通过该生成器的样本输出训练，比较了几种可应用于该设置的表征学习方法，使用生成器的潜空间来生成相同语义内容的多个 “视图”，表明多视图数据可以自然地用于识别正面对和负面对。
- 图上自监督学习：对比、生成或预测
本文介绍了在图形数据上进行自监督学习的方法，并将其分为对比、生成和预测三种类型，同时对常用数据集、指标、算法进行了总结，并讨论了未来研究方向。