Transformer meets Stochastic Block Model: 数据自适应稀疏性和成本的注意力

Oct, 2022

Transformer meets Stochastic Block Model: 数据自适应稀疏性和成本的注意力

Transformers meet Stochastic Block Models: Attention with Data-Adaptive Sparsity and Cost

Sungjun Cho, Seonwoo Min, Jinwoo Kim, Moontae Lee, Honglak Lee...

TL;DR本研究提出了 SBM-Transformer 模型，利用基于混合成员资格随机块模型（SBM）的稀疏注意力来解决二次成本问题，并证明了 SBM-Transformer 是任意序列到序列函数的通用逼近器，同时在 LRA 和 GLUE 基准测试中表现出优异的性能。

Abstract

To overcome the quadratic cost of self-attention, recent works have proposed various sparse attention modules, most of which fall under one of two groups: 1) sparse attention under a hand-crafted patterns and 2)

sbm-transformer sparse attention stochastic block model bipartite graph sequence-to-sequence functions

发现论文，激发创造

随机块模型遇上图神经网络

本论文提出一个稀疏变分自编码器用于图形数据，融入了 SBMs 和 GNNs 方向，实现了节点嵌入的快速推理，适用于各种类型的 SBMs，并在链接预测和社群发现方面得到了令人鼓舞的结果。

May, 2019

仅需采样（几乎）一次：通过伯努利采样实现线性代价自注意力

本文介绍了一种基于二项分布采样的局部敏感哈希（LSH）注意力机制，可以将自注意力的复杂度从二次降到线性。我们在 GLUE 和 LRA 基准测试中测试该算法并发现性能优于标准的预训练变压器模型和其他自注意力方法。

Nov, 2021

贝叶斯注意力模块

本研究提出了一种易于实现和优化的可伸缩的随机注意力版本，其特点是通过归一化可重参数化分布来构造单纯限制的注意力分布，并在基于数据的先验框架中学习其参数进行正则化，将该方法应用于各种注意力模型中，并在图形节点分类、视觉问答、图像字幕生成、机器翻译、语言理解等领域获得了一致的改进。

Oct, 2020

注意力近似稀疏分布式存储

该研究发现，在某些数据条件下，Transformer Attention 机制与 Kanerva 的 Sparse Distributed Memory 有密切关联，可以提供 Attention 的新的计算和生物学解释，进一步确认预训练的 GPT2 Transformer 模型已满足这些条件。

Nov, 2021

社群检测与随机块模型

这份论文调查了随机块模型在社群检测中的基本极限，研究其信息理论和计算统计学等问题，列举了几种主要算法用于实现这些极限，并探讨了其他块模型以及一些待解决的问题。

Mar, 2017

PointABM：Point Cloud 分析中融合双向状态空间模型与多头自注意力

基于状态空间模型（SSM）的 Mamba 与 Transformer 架构相结合的 PointABM 模型，在改善局部特征以提高 3D 点云分析性能方面表现出优越性，并通过引入双向 SSM 框架和自注意机制进一步增强了特征提取能力，实验证明整合 Mamba 与 Transformer 显著提高了 3D 点云分析模型的能力。

Jun, 2024

贝叶斯随机块模型

本文介绍了利用贝叶斯推断从网络数据中提取大规模模块化结构的方法，重点介绍了基于随机块模型（SBM），以及其度修正和重叠推广。提供了一种允许防止过度拟合，实现模型选择的非参数公式。讨论了先验选择的方面，特别是如何通过加强贝叶斯层次结构来避免欠拟合，同时描述了执行单点估计和采样网络分区的有效算法。还展示了如何利用推断 SBM 来预测丢失和虚假链接，并揭示了网络中模块化结构可检测性的根本限制。

May, 2017

高效序列建模的稀疏模块激活

本文介绍了一种名为 Sparse Modular Activation (SMA) 的机制，利用该机制设计的 SeqBoat 模型通过 SSM 学习了状态表示，实现了线性推理复杂度和理论上无限的注意力跨度，为一系列任务带来了新的最先进结果，并通过学习的稀疏激活模式揭示了每个任务所需的注意力数量和模式。

Jun, 2023

多视图聚类的多层随机块模型混合

该研究提出了一种用于聚合来自不同信息源的多个聚类的原始方法，使用多层随机块模型（SBM）的混合来将具有相似信息的共成员矩阵分组为组件，并将观测分割为不同的聚类，考虑它们在组件内的特定性。该方法对模型参数的可识别性进行了建立，并提出了一种变分 Bayesian EM 算法来估计这些参数，通过贝叶斯框架选择了最佳的聚类和组件个数。该方法在合成数据、共识聚类和基于张量的大规模复杂网络社区检测算法上进行了比较，最后将该方法应用于全球食品贸易网络的分析，得到了有趣的结构。

Jan, 2024

基于 Transformer 的自适应稀疏和单调注意力自动语音识别

研究将稀疏和单调注意力引入基于 Transformer 的自动语音识别，以克服传统 Transformer 中针对流式识别的自我注意和多头注意的局限性，并在多项基准测试中取得了良好的效果。

Sep, 2022