memory complexity | BriefGPT

关键词memory complexity

搜索结果 - 5

FAST: 可因子化注意力提升 Transformer 速度
通过引入可分解的关注机制，我们将注意力机制的计算和内存复杂度从 O (N^2) 降低到 O (N)，并保持了注意力矩阵的完整表示，具有稀疏性和全连接关系。经过各种标准设置的测试，结果表明我们的注意力机制具有稳定的性能，并在自我注意力被使用的
PDF5 months ago
IDKM：通过隐式、可微分 $k$ 均值实现内存高效神经网络量化
使用隐式可微分 k-means 算法（IDKM）和无雅可比传播（IDKM-JFB）的变种，在与同样设置下，IDKM 在更短的计算时间和较少的内存使用下实现与 DKM 相当的性能，并将其应用于无法在 DKM 上训练的 Resnet18 神经网
PDF7 months ago
多网格张量化傅里叶神经算子用于高分辨率偏微分方程
通过引入一种新的高效数据、可高度并行化的操作符学习方法，称为多网格张量化神经算子 (MG-TFNO)，我们解决了部分微分方程 (PDEs) 的学习解算符在高分辨率下存在的内存复杂度和数据稀缺性的限制。
PDF9 months ago
CVPR用于高效本地注意力的学习查询
本文提出了一种名为 query and attend（QnA）的新型 shift-invariant local attention 层，将其并入分层视觉 transformer 模型，并证明其在速度和内存复杂度方面的改善，同时又能实现与最
PDF3 years ago
ICML使用 1000 层图神经网络进行训练
本研究提出了可逆连接、分组卷积、权重绑定和平衡模型以提高图神经网络的内存和参数效率，并发现可逆连接结构与深层神经网络架构相结合，使得训练的过参数化 GNNs 在多个数据集上显著优于现有方法。
PDF3 years ago