long-range dependencies | BriefGPT

关键词long-range dependencies

搜索结果 - 79

Sparser 更快且更简洁：用于长程 Transformer 的高效稀疏注意力机制
通过引入 SPARSEK Attention，将自注意机制的计算和内存障碍降到最低，提供线性时间复杂度和恒定的内存占用，实现了更高效的长序列处理和管理。
PDF8 days ago
IJCAISpoT-Mamba：在时空图上学习长距离依赖关系与选择状态空间
SpoT-Mamba 是一个新的 STG 预测框架，利用 Mamba 的长程依赖性来生成节点嵌入，通过节点嵌入进行时间扫描以捕捉长期的时空依赖性，并在实际交通预测数据集上展示了其有效性。
PDF15 days ago
突破注意力瓶颈
通过开发一种生成函数来解决基于关注机制的注意力变量效率低的问题，该方法在处理变长输入序列和建模长程依赖方面具有更小的模型和更小的损失。
PDF16 days ago
WindowMixer：时间序列预测中的窗口内和窗口间建模
基于全 MLP 框架，WindowMixer 模型通过窗口视角检查时间序列的时间变化，将时间序列分解为趋势和季节性组件，并使用 Intra-Window-Mixer 和 Inter-Window-Mixer 模块处理窗口间和窗口内的关系，从
PDF18 days ago
基于 Transformer 的时间序列符合预测
利用 Transformer 架构的符合预测方法通过捕捉长期记忆和长程依赖，以 Transformer 解码器作为条件分位数估计器来预测预测残差的分位数，从而估计预测区间，并通过综合实验证明该方法在模拟和真实数据上相较于现有的符合预测方法具
PDF24 days ago
MambaDepth: 提升自监督细结构单目深度估计的长距离依赖性
MambaDepth 是一种针对自监督深度估计任务的新型网络架构，通过组合 U-Net 的有效性和 Mamba 架构的先进功能，结合了 CNN 和 Transformer 模型的优点，能够高效处理长距离依赖关系，提高深度估计精度，并在多个数
PDFa month ago
GrootVL：在状态空间模型中，树拓扑是唯一所需
借助于动态生成的树形拓扑结构和特征传播，GrootVL 网络可超越传统状态空间模型在建模长距离依赖关系上的局限，具备强大的表示能力；此外，通过引入线性复杂度的动态规划算法，还能在不增加计算成本的情况下增强长距离交互，并在图像分类、目标检测、
PDFa month ago
ClavaDDPM：基于聚类引导扩散模型的多关系数据合成
基于扩散模型，我们提出了基于聚类标签引导的去噪扩散概率模型（ClavaDDPM），用于模拟表格数据之间的关系，特别关注外键约束。通过有效的算法在不同表格间传播学习到的潜在变量，ClavaDDPM 能够有效捕捉远距离的依赖关系。在多种大小的多
PDFa month ago
Transformer 中的动态上下文适应和信息流控制：引入评估调整单元和门控残差连接
由于其在数据中建模长距离依赖的独特能力，transformers 已经彻底改变了人工智能的各个领域。然而，它们在特征和信息流的细微变化上存在不足。本文引入了两个重要的改进来解决 transformer 架构的这些局限性 - 评估者调整单元
PDFa month ago
HeteGraph-Mamba: 基于选择性状态空间模型的异构图学习
我们提出了一种异构图曼巴网络 (HGMN)，它是利用选择性状态空间模型 (SSSMs) 进行异构图学习的首次探索。相比文献，我们的 HGMN 克服了两个主要挑战：(i) 捕捉异构节点之间的长程依赖和 (ii) 将 SSSMs 针对异构图数据
PDFa month ago
用短指令和合成位置进行长上下文对齐
该研究论文介绍了一种名为 Step-Skipping Alignment 的技术，为大型语言模型（LLMs）增强了长上下文能力，通过在指令 - 跟随样本中策略性地插入跳过的位置来合成长程依赖，从而有效扩展上下文，并通过在不同上下文窗口大小的
PDF2 months ago
多视图子图神经网络：稀缺标记数据的自监督学习
利用子图构建长距离依赖关系来改善低数据环境下节点分类的性能，并提出了一种名为 Muse 的自监督学习框架，通过联合捕获局部结构和长距离依赖关系，提高了图中节点的表示表达能力。
PDF2 months ago
连续脉冲图神经网络
连续脉冲图神经网络（COS-GNN）是一个统一框架，将脉冲神经网络与连续图神经网络相结合，利用高阶结构和脉冲表示进行连续传播，以增强信息保留并捕捉节点之间的长程依赖。实验结果表明，COS-GNN 在图学习任务中比竞争对手具有更好的效果。
PDF3 months ago
将指数平滑法纳入 MLP：一种简单而有效的序列模型
建模序列数据中的长程依赖是序列学习中关键的一步，本研究提出了一种新模型 Structured State Space（S4），通过结构化状态空间模型在建模长程序列方面表现出了显著的有效性。与 S4 相比，本研究采用指数平滑（ETS）作为简单
PDF3 months ago
自注意力增强的图卷积网络：结构学习和节点嵌入
本研究提出了一种名为 GCN-SA 的新型图学习框架，它具有出色的节点级表示学习的泛化能力，并且通过自注意机制和改进的转换器块实现了对长程依赖关系的捕捉，从而使其能够在具有不同程度同质性的图上进行表示学习。
PDF4 months ago
基于状态空间模型的图学习：图蟒
通过选择性的状态空间模型为基础，我们提出了一种新的 GNN 类别，即图 Mamba 网络，并在理论上证明了它的能力，并且实验证明尽管计算成本大大降低，但在长距离、小规模、大规模和异源基准数据集中，GMN 表现出色。
PDF5 months ago
Todyformer：面向全面的动态图卷积网络和结构感知分词
Temporal Graph Neural Networks 和 Transformers 结合，提出了一种用于动态图的新型 Transformer-based 神经网络 Todyformer，它通过将 MPNNs 的局部编码能力与 Tra
PDF5 months ago
SegMamba: 长程序列建模 Mamba 用于三维医学图像分割
SegMamba 是一种新颖的 3D 医学图像分割模型，通过有效地捕捉各个尺度上的全体积特征的远程依赖性，从状态空间模型的角度在全体积特征建模方面胜过基于 Transformer 的方法，保持出色的处理速度，即使是具有 {$64 imes
PDF5 months ago
U-Mamba: 提高生物医学图像分割的长程依赖性
基于深度序列模型的 U-Mamba 是一种适用于医学图像分割的通用网络，通过融合卷积层的局部特征提取能力与序列模型的长距离依赖捕捉能力，能够自适应不同数据集并在各种任务中取得优于当前基于 CNN 和 Transformer 的分割网络的结果
PDF6 months ago
AAAI缓存变形器：利用可微记忆缓存改进变形器
引入一种名为 Cached Transformer 的新型 Transformer 模型，采用门控循环缓存（GRC）注意力扩展了自注意机制，实现可微分的令牌记忆缓存。GRC 注意力使得可以关注过去和当前的令牌，增大了注意力的感受野，可用于探
PDF6 months ago