通过展开学习的图平滑先验的可解释轻量级 Transformer

Jun, 2024

通过展开学习的图平滑先验的可解释轻量级 Transformer

Interpretable Lightweight Transformer via Unrolling of Learned Graph Smoothness Priors

Tam Thuc Do, Parham Eftekhar, Seyed Alireza Hosseini, Gene Cheung, Philip Chou

TL;DR通过迭代优化算法来构建可解释且轻量级的类 Transformer 神经网络，其中采用归一化的信号相关图学习模块代替传统 Transformer 中的基本自注意机制，通过学习每个节点的低维特征来建立配对的马哈拉诺比斯距离和构建稀疏相似度图，从而实现巨大参数集的减少和信号内插。与传统 Transformer 相比，图形未解卷积神经网络在图像内插应用中验证了恢复性能、参数效率和对协变量转换的鲁棒性。

Abstract

We build interpretable and lightweight transformer-like neural networks by unrolling iterative optimization algorithms that minimize graph smoothness priors -- the quadratic graph Laplacian regularizer (GLR) and

interpretable transformer-like neural networks graph smoothness priors graph total variation interpolation constraint

发现论文，激发创造

图展开网络：用于图信号去噪的可解释神经网络

该研究提出了一个可解释的图神经网络框架，通过对图信号进行噪声去除，扩展了算法展开到图域的能力，并通过信号处理的视角提供了对架构设计的解释。通过无监督学习训练图卷积网络，自适应捕捉输入噪声图信号的适当先验知识，以获得较小的信号去噪误差。

Jun, 2020

用可解释的贝叶斯神经网络学习图结构

从平滑信号观测中的贝叶斯神经网络推断出的图结构学习以及不确定性量化可应用于数据结构不确定性至关重要的中小规模应用。

Jun, 2024

超越图卷积网络：一种解释性的以正则化为中心的优化框架

本文主要研究在图数据上检测拓扑和语义结构，提出了一种名为 tsGCN 的图卷积网络，通过可解释的正则化优化框架，成功减少了计算无限阶图卷积的高计算复杂度，并且在八个公共数据集上对分类任务取得了比同类竞争对手更卓越的性能。

Jan, 2023

受传统迭代算法启发的图神经网络

本研究提出了一种新的 GNN 架构，结合基于迭代算法的更新规则，解决了现有架构在过度平滑、长距离依赖和对抗攻击等方面存在的问题。结果表明该模型在各种场景下都表现出极高的稳健性和准确性。

Mar, 2021

图神经网络代理模型的可解释微调

使用图神经网络的可解释微调策略对基于网格的流体动力学建模进行研究，以提高其可预测性和解释性，并通过正则化过程识别与预测错误相关的图节点。

Nov, 2023

线性神经网络训练中隐性偏差的统一视角

研究了线性神经网络训练中渐进流（即用无穷小步长的梯度下降法）的隐含偏差；提出了神经网络的张量形式，包括全连接、对角线和卷积网络等特例，并研究了称为线性张量网络的公式的线性版本。通过这个公式，我们可以将网络的收敛方向表征为由网络定义的张量的奇异向量。

Oct, 2020

线性变换器是多功能的上下文学习器

线性 Transformer 能隐式地执行梯度下降算法和找到优化策略。

Feb, 2024

梯度转化：面向动态图神经网络的高效和模型无关的遗忘

我们提出了一种有效、高效、模型无关的后处理方法来实现动态图神经网络的去学习，通过定义去学习请求并在连续时间动态图的背景下形成动态图的去学习，通过对去学习数据、剩余数据和目标动态图神经网络模型进行角色分析，我们提出了一种称为梯度变换和损失函数的方法，将去学习请求映射到所需的参数更新。我们在六个真实世界数据集和最先进的动态图神经网络骨干上进行评估，证明了其效果（例如，性能下降有限，甚至明显改进），效率（例如，最多 7.23 倍加速）和处理未来去学习请求的潜在优势（例如，最多 32.59 倍加速）。

May, 2024

带截断高斯图模型的无监督学习

本文介绍了一种新型 GGMs 变体，其通过在 GGM 上施加二分结构，并使用截断正态分布来管理隐藏变量以放宽高斯限制，实现了非常有效的推断，进而建立了与修正线性单元（ReLU）神经网络的连接，用于真实值，二进制和计数数据的输出构建，还将该模型扩展到深层结构，并展示了深层模型可以用于修正单元神经网络的无监督预训练。大量实验证据证明了提出的模型相对于竞争模型的优越性。

Nov, 2016

多项规范器：线性时间的多项式表达图转换器

Polynormer 是一个多项式表达的图形转换器模型，具有线性复杂度，通过采用局部和全局等变注意模型，实现了具有线性的本地到全局注意机制，从而实现了在大规模图上的表达能力和可扩展性的平衡。在 13 个数据集上的评估结果表明，Polynormer 在大多数数据集上优于最先进的图神经网络和图形转换器基准模型，甚至在没有使用非线性激活函数的情况下也能取得良好的性能。

Mar, 2024