May, 2024

基于对比度的图谱自监督学习中光谱提示是否重要？

PDF
TL;DR对对比度图自我监督学习中光谱信息的贡献进行讨论，发现基于光谱特征的增强方法在学习性能上表现优异，但基于边缘摄动的简单策略在性能方面更出色，且资源消耗更低。这些结论为图像自我监督学习领域带来了重要进展，可能改变对图像自我监督学习的理解和应用。
contrast-based graph self-supervised learningspectral cueslearning performancespectral informationedge perturbation
发现论文，激发创造
  • 图形对比学习的光谱增强

    本文中提出了一种基于对称拉普拉斯特征值的图形裁剪增强方法和通过全局随机游走的局部子图对齐来改进图对比学习方法，并在不同类型的图表现中体现出更好的性能。

    Feb, 2023

  • 具有谱对比损失的自监督深度学习的可证明保证

    本文提出了一种基于数据增强图的对比学习新概念，该概念能够以神经网络表示为对比学习目标提供详细的光谱分解损失，并在理论上证明了具有可验证的精度保证的特征学习方法，同时以实验证明其与一些强大基线方法相当或更好地匹配在基准视觉数据集上。

    Jun, 2021

  • 谨慎增强：通过选择性频谱扰动提升图对比学习

    我们提出了一种名为 GASSER 的方法，在图的频谱域中对特定频率的图结构进行有针对性的扰动，并且边缘扰动受频谱提示的指导。通过大量实验证明，这种扩增视图是适应性的、可控的，并且启发式地符合图结构的同质比和频谱。

    Oct, 2023

  • 图上自监督学习的谱增强

    本研究提出了一种基于光谱扩增的拓扑扩充方法，可以指导 GCL 捕获特征的不变性，实现了自监督表征学习，并带来了更好的泛化能力和抵御对抗性攻击的鲁棒性。

    Oct, 2022

  • 图对比学习及其它领域的频谱特征增强

    本文介绍了一种用于对图和图片进行对比学习的新颖的光谱特征增强方法，通过不完全的幂迭代，可以部分平衡特征图的频谱，注入噪声，从而实现光谱增强，提高了泛化能力，是一种与其他增强策略互补且兼容各种对比损失的方法。

    Dec, 2022

  • 具有频谱增强的异构图对比学习

    本文介绍了一种光谱增强图对比学习模型（SHCL），首次在异构图神经网络中引入了一种光谱增强算法，通过异构图本身学习了一种自适应拓扑增强方案，扰乱了异构图的光谱维度的结构信息，从而最终提高了模型的学习效果。实验结果表明，该模型在多个真实数据集上具有显著优势。

    Jun, 2024

  • 对比学习是基于相似度图的谱聚类

    本文研究了对比学习的等价性和理论基础，并建立了对比学习与谱聚类算法之间的等价性。同时，我们探讨了多模态对象是如何相似地嵌入在一起的，并提出了一种新的核混合损失，相较标准高斯核在几个视觉数据集上有更好的表现。

    Mar, 2023

  • 霍奇感知对比学习

    基于 Hodge 分解的对比自监督学习方法通过编码特定数据的不变性，利用简单神经网络生成具有适当光谱特性的正对比实例，从而获得反映数据谱特性的嵌入空间。与监督学习技术相比，我们在两个标准边流分类任务中取得了卓越的性能，强调了采用谱视角进行高阶数据的对比学习的重要性。

    Sep, 2023

  • 对比自监督学习和非对比自监督学习恢复全局和局部谱嵌入方法

    本文提出了一种基于谱流形学的统一框架，以解决自监督学习方法的局限性并提供有意义的表示学习方法，通过将 VICReg，SimCLR 和 BarlowTwins 等自监督学习方法与谱方法相对应，得到了闭合形式的最佳表示以及线性区间内的网络最佳参数，并揭示了对训练中使用的成对关系以及下游任务性能的影响，以及对于两种谱嵌入方法之间的第一种理论桥梁的暗示。

    May, 2022

  • 谱时对比学习

    无监督学习与对比学习相结合的时间对比学习方法（STCL）基于谱分析来构建损失函数，利用示例数据的线性探测表现来评估图的谱特性。

    Dec, 2023