Vision GNN: 一张图值得千万个节点

Jun, 2022

Vision GNN: An Image is Worth Graph of Nodes

Kai Han, Yunhe Wang, Jianyuan Guo, Yehui Tang, Enhua Wu

TL;DR本文提出了将图像表示为图结构，并介绍了一种新的 Vision GNN（ViG）体系结构，用于提取视觉任务的图级特征。ViG 由 Grapher 模块和 FFN 模块组成，可用于图形聚合、更新图形信息以及节点特征变换。该体系结构在图像识别和目标检测任务方面表现出优异性能，并希望将来的研究能够从中获得启发。

Abstract

Network architecture plays a key role in the deep learning-based computer vision system. The widely-used convolutional neural network and transformer treat the image as a grid or sequence structure, which is not flexible to capture irregular and complex objects. In this paper, we propo

computer vision system convolutional neural network graph structure vision gnn object detection

发现论文，激发创造

PVG：渐进视觉图用于视觉识别

通过逐渐增加全局图分支的通道并减少局部分支的通道，逐渐分离图构建（PSGC）引入二阶相似性，使用最大池化和数学期望（MaxE）进行富信息邻居节点信息聚合和更新，以减轻过度平滑的图错误线性单元（GraphLU）增强松弛形式的低值信息，实验证明 PVG 在图像识别任务中优于现有方法。

Aug, 2023

ViG-UNet：面向医学图像分割的视觉图神经网络

该论文提出了一种基于图神经网络的 U 形结构体系 ViG-UNet，在多个分割任务中表现良好。

Jun, 2023

计算机视觉中的图神经网络 —— 架构、数据集和常见方法

该研究整理并总结了关于应用于计算机视觉的基于图神经网络（GNNs）及其派生物（如 GAT、GCN 和 GRN）的方法的论文，从网络结构、数据集、以及与其他领域的关联等三个方面进行了详细阐述。

Dec, 2022

MobileViG：用于移动端视觉应用的基于图的稀疏注意力机制

本文提出了一种新颖的基于图的稀疏注意力机制 Sparse Vision Graph Attention（SVGA），并且设计了一种新的混合 CNN-GNN 体系结构 MobileViG，实验证明，MobileViG 在移动设备上进行图像分类、物体检测和实例分割任务上的精度和 / 或速度明显优于现有的 ViG 模型和现有移动 CNN 和 ViT 架构。

Jul, 2023

GreedyViG：用于高效视觉 GNN 的动态轴图构建

利用动态轴图构建（DAGC）和 GreedyViG 的混合 CNN-GNN 架构，在图像分类等任务中实现了高精度，GMACs 减少，参数数量相似的效果，超过了现有的视觉图神经网络模型。

May, 2024

计算机视觉中的图神经网络和图变换器综述：以任务为导向的视角

本研究在任务导向的角度下，综述了 GNN 与图 Transformer 在计算机视觉中的应用，根据输入数据的特征分为五个类别，并根据视觉任务，详细讨论了该问题所使用的不同基于 GNN 的方法、表现、挑战和未来方向。

Sep, 2022

一种统一且生物合理的视觉 Transformer 关系图表示法

本文提出了视觉变换器（ViT）的统一生物学关系图表示，其中聚合图和仿射图是关键子图，本方法能够很好地描述其空间相互作用和网络通信，并发现了聚合图的组团系数和平均路径长度是模型预测性能的有效指标且具有很高的可解释性。

May, 2022

ViGEO：地球观测中视觉图神经网络评估

卫星任务和地球观测系统对于环境监测和及时发现灾难性事件以及长期监测自然资源和人造资产如植被、水体、森林和建筑物方面具有基础性作用。近期机器学习、计算机视觉的进展以及标注数据的可用性使得研究人员通过使用深度神经网络展示了在土地利用监测系统和遥感图像分类方面的可行性和精确性。该研究调查了一种最新的视觉图神经网络架构（ViG）在土地覆盖分类任务中的性能，并实验结果显示 ViG 在多类别和多标签分类背景下的表现超过了 ViT 和 ResNet 在大规模基准测试中的最新水平。

Feb, 2024

远程感知分割的图信息瓶颈

本文介绍一种用于遥感图像分割的简单对比视觉图神经网络（SC-ViG）架构，该架构将图像视为图结构，并通过构建节点屏蔽和边屏蔽图视图来获得最佳的图结构表示，通过引入信息瓶颈理论来最大化任务相关信息，同时最小化任务无关的冗余信息，进而取得了优于当前最先进的遥感图像分割方法的实验结果。

Dec, 2023

GraphViz2Vec：提升 GNNs 分类效果的结构感知特征生成模型

本文提出了一种新的特征提取方法 GraphViz2Vec，可以捕捉节点的局部邻域的结构信息来创建有意义的 GNN 模型的初始嵌入，这些初始嵌入有助于现有模型在各种分类任务中实现最先进的结果。

Jan, 2024