使用 BAM 进行图结构推断：引入双线性注意机制

Feb, 2024

使用 BAM 进行图结构推断：引入双线性注意机制

Graph Structure Inference with BAM: Introducing the Bilinear Attention Mechanism

Philipp Froehlich, Heinz Koeppl

TL;DR统计学和机器学习中，检测数据集中的依赖关系是一个核心挑战。我们提出了一种新颖的神经网络模型，用于监督式图结构学习，即学习观测数据与其底层依赖结构之间的映射关系。通过利用结构方程模型和使用随机生成的多元切比雪夫多项式来模拟训练数据，我们的方法在线性和各种类型的非线性依赖关系上都表现出稳健的可推广性。我们引入了一种新颖的双线性注意机制（BAM），用于显式处理依赖信息，其操作是基于转换数据的协方差矩阵水平，并尊重对称正定矩阵流形的几何性质。实证评估显示了我们的方法在检测广泛范围的依赖关系中的稳健性，在无向图估计方面表现出优势，并通过一种新颖的两步方法在完成部分有向无环图估计中取得竞争优势。

Abstract

In statistics and machine learning, detecting dependencies in datasets is a central challenge. We propose a novel neural network model for supervised graph structure learning, i.e., the process of learning a mapp

dependencies supervised graph structure learning neural network model structural equation models bilinear attention mechanism

发现论文，激发创造

动态图中的双线性交互学习时间注意力

该论文通过使用时态点过程和变分自编码器提出了一种无需人工边缘指定的模型，学习推断节点间的时间关注力，从而具有更大的灵活性和更好的性能，用于动态链接预测任务。

Sep, 2019

学习动态图神经网络的邻接矩阵

使用块邻接矩阵（BA）的概念来表示时空数据，通过引入编码器块学习缺失的时序连接，生成丰富的时空块邻接矩阵（STBAM），再借助图神经网络（GNN）来捕捉复杂的时空拓扑，并在实验中表现出卓越的结果和低计算复杂度。

Oct, 2023

瓶颈关注模块

本篇论文提出了一种名为 Bottleneck Attention Module（BAM）的简单有效的注意力机制，可嵌入任何前馈卷积神经网络中，并在 CIFAR-100、ImageNet-1K、VOC 2007 和 MS COCO 等基准测试中通过广泛实验验证了其在图像分类和检测性能上的一致提高。

Jul, 2018

双线性注意力网络

本研究提出了一种基于双线性注意力网络的多模态学习方法，通过提取双线性交互特征来优化多模态输入的注意力分布，以提高视觉问题回答（VQA）和 Flickr30k 数据集上的性能表现。

May, 2018

因果 DAG 模型中基于最小 I-MAP 的可扩展结构发现 MCMC 算法

本文提出一种基于条件独立性检验的后验逼近方法，用于学习贝叶斯网络。相比于先前的基于顺序 MCMC 的方法，该方法能够实现更佳的精度、可伸缩性和混合采样效果，同时允许使用更多自然的结构先验并消除了对最大入度的时间依赖性。

Mar, 2018

结构化注意力网络

本文研究了如何将更丰富的结构分布用于深度神经网络中的嵌入式分类推理，通过两种不同的结构注意力网络：线性链条件随机场和基于图形的解析模型的实验，展示了这些结构的注意力网络超过了基线的注意力模型在各种合成和真实任务中的表现。

Feb, 2017

贝叶斯网络的高效抽样和结构学习

提出了一种新颖的混合方法，将基于约束和 MCMC 算法的两个领域结合起来，以高效地学习贝叶斯网络的有向无环图结构，并能对后验分布进行采样，从而实现全贝叶斯模型平均。

Mar, 2018

基于掩码梯度的因果结构学习

本文研究了从观测数据中学习因果结构的问题，提出了一种基于结构方程模型的因果结构学习方法，并通过实验验证了其良好性能。

Oct, 2019

GDBN：一种动态贝叶斯网络的图神经网络方法

本文提出了一种基于得分的图神经网络方法，旨在学习离散时间时间图中捕捉因果依赖的稀疏 DAG，结果表明该方法较其他现有方法如动态贝叶斯网络推断等表现更好，得到的结构因果模型也比诸如 Notears 等方法发现的线性 SCM 更准确。

Jan, 2023

基于分布与结构学习的无弦有向无环图路径等价性

本文研究了基于得分的贪心搜索算法用于学习无环路径图的结构，并且证明了一些 BAPs 分布等价（distributional equivalence）的必要和充分条件，这种算法可以推断因果效应的下界，同时通过真实数据和模拟数据的应用进行了验证。

Aug, 2015