attention computation | BriefGPT

关键词attention computation

搜索结果 - 8

通过特殊设计的上采样和注意力，实现密集预测的二进制量化神经网络
提出了一种有效的上采样方法和高效的注意力计算策略，以实现从单一预测任务到密集预测任务的二进制神经网络（BNN）成功的转移。在 Cityscapes、KITTI road 和 ECSSD 上的实验充分显示了我们工作的有效性。
PDFa month ago
InfLLM: 揭示 LLM 对于无需训练的记忆理解极长序列的内在能力
通过引入一种无需训练的基于内存的方法 InfLLM，使得大型语言模型 (LLM) 能够高效处理长序列并捕获远距离依赖关系。
PDF5 months ago
非线性单元的两层回归的收敛性
大语言模型中的注意力计算结构，以及利用 Hessian 矩阵找到近似最优解的算法。
PDFa year ago
随机和确定性关注稀疏化算法：超参数化特征维度
本研究考虑应用于大型语言模型中的注意力计算问题的矩阵稀疏化，并提出了两种算法解决该问题。实验结果表明，我们的研究成果可以将超大的特征维度降低到接近于句子长度的线性大小。
PDFa year ago
EMNLP线性变换中的魔鬼
本文提出了一种新的线性变压器模型，称为 transNormer，以解决现有线性变压器的性能问题，通过稳定梯度和改善注意力的方式，在文本分类和语言建模任务以及 Long-Range Arena 基准测试中表现出更优异的性能，同时更加高效。
PDF2 years ago
ICLRTreeformer: 高效注意力计算的密集梯度树
本文提出了一种名为 Treeformer 的新型 transformer 模型，通过采用基于决策树的层次化导航方法，将 attention 计算的检索成本从线性降低为几乎对数级，同时使用 TF-Attention 和 TC-Attentio
PDF2 years ago
ECCVDualFormer：面向高效视频识别的分层局部全局 Transformer
本文提出了一种新型的 Transformer 架构 DualFormer 用于视频识别，此架构可以有效地处理空间 - 时间关注，能够捕捉短距离和长距离的时空依赖关系，并通过本地 - 全局层次划分策略显著减少注意力计算中的关键值个数，从而提高
PDF3 years ago
非局部解耦神经网络
本文研究了非局部块，发现其关注计算可以分为两个项，其中白化的成对项和一元项分别代表两个像素之间的关系及每个像素的显著性。本文提出了解耦的非局部块，证明了该设计在不同任务中的有效性。
PDF4 years ago