ICMLJun, 2020

自监督何时对图卷积网络有帮助？

PDF
TL;DR本文首次对将自我监督技术应用于操作图形数据的图卷积网络（GCNs）进行了系统探索和评估。通过提出三种机制，分析预训练和微调以及自我训练的局限性，然后专注于多任务学习，并提出了三个新的自我监督学习任务的理论原理和数值比较。最后，将多任务自我监督整合到图形对抗性训练中。实验结果表明，适当设计任务形式和整合机制可以使 GCNs 获得更强的普适性和稳健性。
self-supervisiongraph convolutional networksmulti-task learninggeneralizabilityrobustness
发现论文，激发创造
  • 自监督训练的图卷积网络

    本文提出了两种无监督自学习策略来利用输入图形结构数据中的可用信息，以进一步改善有限的训练数据下模型的学习能力和性能。该方法在三个公共引文网络数据集上使用两个代表性的 GCN 模型进行了实验验证，展示了其在显著提高特征学习方面的自我监督学习能力和可移植性。

    Jun, 2020

  • 半监督学习中图卷积网络的深入洞察

    本文研究机器学习领域的图半监督学习，提出了基于图卷积网络的深度学习方法，解决了图卷积网络机制不清晰及需要大量标注数据的问题，并针对浅层结构的限制提出了弱监督训练的方法。经过广泛实验验证，研究结果具有实际应用价值。

    Jan, 2018

  • 通过贝叶斯自监督方法保护图卷积神经网络免受动态图扰动的影响

    该研究提出并应用了一种新的基于贝叶斯自监督学习的模型 (GraphSS)，能有效抵御动态图中的对抗攻击以及恢复节点分类器的预测结果。

    Mar, 2022

  • 多自监督辅助任务的基于图的神经网络模型

    该论文提出了三个新的自监督辅助任务，以多任务的方式训练基于图的神经网络模型，使用图卷积网络作为构建块，在标准半监督图分类任务上实现了有竞争力的结果。

    Nov, 2020

  • 少标签图上的图卷积网络多阶段自监督学习

    本文提出了一种名为 M3S 的多阶段自监督 (GCNs) 训练算法，该算法利用自监督学习方法，旨在提高 GCN 在缺乏标记节点的图上的泛化性能。实验结果表明，相比其他现有方法，我们的算法在不同标签率下表现出卓越的性能。

    Feb, 2019

  • 基于图的半监督学习的对比与生成图卷积网络

    本文提出了一种新颖的基于图卷积网络的 SSL 算法，通过利用数据相似性和图结构来丰富监督信号，从而改善了现有方法的性能。该算法通过设计半监督对比损失和图生成损失提取潜在的关系，并在各种实际数据集上取得了显著的分类性能，与现有最先进的方法进行了比较。

    Sep, 2020

  • 自监督视觉表示学习再探讨

    该论文探讨了自我监督方法在无监督视觉表示学习中的重要性，提出之前 CNN 设计的标准配方不一定适用于自我监督表示学习， 并大幅度提高了之前提出技术的性能，超越了之前公布的最先进结果。

    Jan, 2019

  • 图形背后的更多秘密：利用自我监督学习通用特征

    研究多图之间自监管的通用特征学习问题，提出了一种使用 transformer 和 neighborhood aggregation 模块来将多个具有不同特征的图的结点向量映射到通用向量空间的方法，实现了在多个相同类型图之间学习通用特征，并在节点分类任务上取得了比只用单一个图进行自监管学习更好的效果，填补了自监管和有监管学习间的差距和提高图自监管学习的表现。

    May, 2023

  • 自监督关键分析：或从单张图像中获得的经验教训

    本文对于深度卷积神经网络的自监督技术进行了批判性的探讨，指出在使用强大的数据增强技术后，三种不同但具有代表性的方法可以从单个图像中学习卷积网络的前几层，但是对于更深层的神经网络，即使使用了数百万张未标记的图像来进行训练，与手动监督的差距也无法弥补。该研究得出的结论是：（1）深度网络的早期层的权值包含的自然图像的统计信息非常有限，（2）这种低层次的统计信息可以通过自监督学习和强监督学习一样学习，（3）可以通过使用合成变换来捕获低层次的统计信息，而无需使用大量的图像数据集。

    Apr, 2019

  • 从聚类假设到图卷积：重新思考基于图的半监督学习

    本文通过在统一的优化框架中理论讨论了传统浅层学习方法与基于图卷积网络（GCNs）的关系，并提出了三种简单但强大的图卷积方法，包括有监督方法 OGC 以及两种无监督方法 GGC 和其多尺度版本 GGCM，最后通过大量实验证明了我们方法的有效性。

    Sep, 2023