半监督图学习 meets 降维

Mar, 2022

Semi-Supervised Graph Learning Meets Dimensionality Reduction

Alex Morehead, Watchanan Chantapakul, Jianlin Cheng

TL;DR本文研究了使用 PCA，t-SNE 和 UMAP 等降维技术对半监督图神经网络中节点标签的传播效果，并通过 Cora 和 Citeseer 等数据集进行了量化和定性分析，并发现在某些情况下，将降维技术应用于 GNN 的输入和输出可以同时提高半监督节点标签传播和节点聚类的有效性。

Abstract

semi-supervised learning (SSL) has recently received increased attention from machine learning researchers. By enabling effective propagation of known labels in graph-based deep learning (GDL) algorithms, SSL is

semi-supervised learning graph-based deep learning dimensionality reduction techniques graph neural networks node clustering

发现论文，激发创造

密度感知图在深度半监督视觉识别中的应用

该论文提出了一种基于密度感知图的半监督学习方法，利用密度信息进行特征学习和标签传播，从而充分利用未标记数据，并在端到端训练中提高性能。

Mar, 2020

高维数据降维的层次最近邻图嵌入方法

提出了一种基于层次结构的 1 - 最近邻图的新方法，可以在保留数据分布多个级别的分组属性的同时，实现具有可解释机制、可视化品质高、运行速度快且可用于多种场景的非监督降维技术，并在不同规模、不同维度的多个数据集上进行了性能比较。

Mar, 2022

基于图的半监督学习：综述

本文着重阐述了基于图的半监督学习方法的各种变体及其概述、连接和发展方向。新的广义分类方法为图正则化和图嵌入方法提供了指导和最新的研究参考。

Feb, 2021

寻求结构：联合学习图形结构和半监督分类

本文提出了一种新的并行图学习框架 (PG-learn)，具有基于梯度的优化边缘权重和自适应资源分配方案的并行超参数搜索算法，能显著提高图构建的准确性和高效扩展到高维问题。

Sep, 2019

可扩展的图自监督学习

通过采样节点或维度，可以降低损失计算成本，并且不会降低下游性能。

Feb, 2024

自监督学习的图神经网络：统一综述

本论文介绍了自监督学习在图神经网络上的应用，将其方法分为对比模型和预测模型并提供统一的框架，在 SSL 方法和数据集上提供了概述和标准化的测试平台。

Feb, 2021

基于图的半监督学习的对比与生成图卷积网络

本文提出了一种新颖的基于图卷积网络的 SSL 算法，通过利用数据相似性和图结构来丰富监督信号，从而改善了现有方法的性能。该算法通过设计半监督对比损失和图生成损失提取潜在的关系，并在各种实际数据集上取得了显著的分类性能，与现有最先进的方法进行了比较。

Sep, 2020

经典降维的一种模型：UMAP 和 t-SNE 的概率视角

该论文表明降维方法 UMAP 和 t-SNE 可以近似重构为与 ProbDR 中引入的广义 Wishart 模型对应的 MAP 推断方法，这种解释不仅可以提供对这些算法更深入的理论洞察，还引入了研究类似降维方法的工具。

May, 2024

深度半监督学习算法的实际评估

通过实现多种常用的 SSL 技术并在一系列实验中进行测试，研究发现简单基线方法的表现通常被低估，而 SSL 方法对标记和未标记数据的敏感性不同，当未标记数据集包含类外示例时性能可能会显著下降，因此我们提供了一个公共代码重现平台以帮助实现 SSL 技术在实际应用中的可行性。

Apr, 2018

评估预训练句子嵌入的无监督降维方法

使用预训练语言模型（PLMs）生成的句子嵌入引起了自然语言处理界的广泛关注，因为它们在多种下游应用中以优越的性能表示文本。然而，当在内存或计算受限设备中表示大量句子时，由 PLMs 生成的句子嵌入的高维度会带来问题。作为解决方案，我们评估了无监督的降维方法来降低由 PLMs 生成的句子嵌入的维度。我们的实验结果表明，如主成分分析（PCA）等简单方法可以将句子嵌入的维度降低近 50%，而不会在多个下游任务中造成显著性能损失。令人惊讶的是，在某些任务中，进一步降低维度可以提高某些 PLMs 生成的句子嵌入的性能。

Mar, 2024