May, 2024

探索图的自监督任务的相关性

PDF
TL;DR我们的研究旨在通过任务相关性提供对图自监督学习的新理解，通过评估一个具体任务所训练的表示在其他任务上的性能，定义相关性值来量化任务相关性，并揭示了各种自监督任务之间的任务相关性和其表达能力，进而提出了图任务相关建模（GraphTCM）来增强图自监督训练，并通过实验结果表明我们的方法在各种下游任务上明显优于现有方法。
发现论文，激发创造
  • 多自监督辅助任务的基于图的神经网络模型

    该论文提出了三个新的自监督辅助任务，以多任务的方式训练基于图的神经网络模型，使用图卷积网络作为构建块，在标准半监督图分类任务上实现了有竞争力的结果。

    Nov, 2020

  • 自动化自监督图学习

    Graph self-supervised learning can be improved by leveraging multiple pretext tasks through the AutoSSL framework, which uses homophily as guidance and significantly boosts the performance on downstream tasks.

    Jun, 2021

  • 自监督何时对图卷积网络有帮助？

    本文首次对将自我监督技术应用于操作图形数据的图卷积网络（GCNs）进行了系统探索和评估。通过提出三种机制，分析预训练和微调以及自我训练的局限性，然后专注于多任务学习，并提出了三个新的自我监督学习任务的理论原理和数值比较。最后，将多任务自我监督整合到图形对抗性训练中。实验结果表明，适当设计任务形式和整合机制可以使 GCNs 获得更强的普适性和稳健性。

    Jun, 2020

  • 自监督训练的图卷积网络

    本文提出了两种无监督自学习策略来利用输入图形结构数据中的可用信息，以进一步改善有限的训练数据下模型的学习能力和性能。该方法在三个公共引文网络数据集上使用两个代表性的 GCN 模型进行了实验验证，展示了其在显著提高特征学习方面的自我监督学习能力和可移植性。

    Jun, 2020

  • 通过全局上下文预测进行自监督图表示学习

    本文提出了一种自监督的图表征学习策略，需要使用全局上下文进行图表征学习，其中通过训练神经网络预测节点之间相对位置来学习节点表征，以提高节点分类、聚类和链接预测等下游任务的性能。

    Mar, 2020

  • 图基础模型自我监督预训练调研：基于知识的视角

    这篇论文综合了基于图知识的微观和宏观视角，对图基础模型的自我监督预训练任务进行了综述和分析，并包括了 9 个知识类别和 25 个预训练任务，以及各种下游任务适应策略。

    Mar, 2024

  • 图上自监督学习：对比、生成或预测

    本文介绍了在图形数据上进行自监督学习的方法，并将其分为对比、生成和预测三种类型，同时对常用数据集、指标、算法进行了总结，并讨论了未来研究方向。

    May, 2021

  • 图像自监督学习：综述

    本文综述了基于自监督学习技术在图数据中的应用，提出了一个统一的数学框架，并将这些方法根据预文本任务的目标分为四类，并描述了在各个研究领域中的应用及所采用的数据集，评估基准，性能比较和开源图形 SSL 代码。

    Feb, 2021

  • 从教学视频转录中生成无监督任务图

    本文探讨了生成真实世界活动任务图的问题，提出了一种无监督的任务图生成方法，结合语言模型的推理能力、聚类和排名组件，比 ProceL 和 CrossTask 数据集中的有监督学习方法生成更准确的任务图。

    Feb, 2023

  • 基于图神经网络的自适应迁移学习

    该研究提出了基于自监督任务的图神经网络（GNN）的迁移学习新范式，其能够有效地将自监督任务作为辅助任务在微调阶段与目标任务结合起来，通过元学习来学习辅助任务的权重，对于多任务学习，预训练和微调均表现出色。

    Jul, 2021