quadratic complexity | BriefGPT

关键词quadratic complexity

搜索结果 - 9

TaylorShift: 使用 Taylor-Softmax 将自注意力的复杂性从平方级转换为线性级（以及反向转换）
TaylorShift 是一种新的 Taylor softmax 重构方法，能够在线性时间和空间内计算完整的 token-to-token 交互，提高了 Transformers 处理长序列的效率，并且在进行分类任务时不会降低准确性。
PDF4 months ago
亚二次时间内的可扩展网络重建
网络重建算法通过随机第二邻域搜索在亚二次时间内实现对网络拓扑重建，与二次复杂度基准相比具有数个数量级的更高性能，可用于大规模网络的并行重建。
PDF6 months ago
EMNLP滤波半马尔可夫 CRF
这篇论文介绍了一种新的半马尔可夫条件随机场（Semi-Markov CRF）的变种 —— 过滤式半马尔可夫条件随机场（Filtered Semi-Markov CRF），该方法通过引入过滤步骤来消除无关的片段，降低了复杂性和搜索空间，并在多
PDF7 months ago
Fovea Transformer：高效的结构化精细到粗糙注意力长上下文建模
Fovea Transformer 是一种以长 - context 为中心的 Transformer 模型，通过在输入序列中构建一个多尺度树来提高模型对全局依赖性的捕捉能力，并在长 - context 摘要任务上取得了最先进的性能。
PDF8 months ago
快速多极注意力：一种长序列的分而治之注意机制
Transformer-based models have achieved state-of-the-art performance, but the quadratic complexity of self-attention limi
PDF9 months ago
SEA：具有估计注意力掩码的稀疏线性注意力
SEA 提出了稀疏线性注意力机制，通过基于核的线性注意力估计注意力矩阵，然后使用 top-k 选择生成对完整注意力矩阵的稀疏近似，以解决 transformers 在处理长序列时的复杂性问题，并保持可解释的注意力矩阵和利用知识蒸馏来降低预训
PDF9 months ago
PolySketchFormer：基于草图的快速 Transformer 用于多项式核函数
该研究论文通过使用多项式函数和多项式取样法，替代基于 softmax 的注意力机制，以及提出基于区块的算法，实现了一个能够在线性时间内计算多项式注意力机制的实用线性变换器架构，从而显著提高了大规模上下文下的注意力机制的速度。
PDF9 months ago
聚类注意力实现快速 Transformer
本文提出聚类注意力机制以解决 transformers 模型在处理长序列时，注意力矩阵的求解复杂度很高的问题，同时在计算预定义聚类的质心时，能够处理自由形式的注意力机制。
PDF4 years ago
ACL星形转换器
本文介绍了 Star-Transformer，一种轻量级的 NLP 模型，通过精细的稀疏化将全连接注意力连接结构替换为星形拓扑结构，将复杂性从二次降为线性，同时保持了捕获局部组合和长距离依赖性的能力，并在四个任务的 22 个数据集上取得了显
PDF5 years ago