sparse computation | BriefGPT

关键词sparse computation

搜索结果 - 6

MInference 1.0: 通过动态稀疏注意力加速长上下文 LLM 的预填充
通过识别长上下文注意力矩阵中的独特模式（A 形、垂直斜线和稀疏块），并利用 GPU 上的稀疏计算方法，我们提出了 MInference（百万令牌推理），以显著减少长上下文大型语言模型的预填充阶段的延迟。
PDF4 days ago
Scorch：稀疏深度学习库
Scorch 是一个能够无缝集成高效稀疏张量计算到 PyTorch 生态系统的库，通过自动化关键优化，实现了在多个领域的深度学习模型中 1.05-5.78 倍的速度提升，为扩展深度学习和开发其他稀疏库提供了有价值的工具。
PDFa month ago
ReLU$^2$ 胜出：发现稀疏 LLMs 的高效激活函数
基于对神经元输出大小和阈值的调整，我们提出了一种通用方法，用于定义神经元激活，并证明非 ReLU 的大语言模型也可以呈现稀疏激活。通过对不同激活函数的模型进行全面的实验，我们发现采用 ReLU$^2$ 的模型在稀疏性、预测性以及硬件亲和性等
PDF5 months ago
稀疏反向传播用于 MoE 训练
通过 SparseMixer 建立了稀疏计算与反向传播之间的桥梁，提供可靠的梯度估计，并加速了 Switch Transformer 的训练收敛速度。
PDF9 months ago
通过时间动力学学习稀疏事件来进行汽车目标检测
基于事件的传感器与其高时间分辨率（1 微秒）和动态范围（120dB），能够在车辆和无人机等高速平台中部署。然而，事件的高度稀疏和波动性对基于人工神经网络（ANNs）的传统目标检测技术构成了挑战。相比之下，脉冲神经网络（SNNs）由于其固有的
PDFa year ago
Speck：一款智能的事件驱动视觉传感器，具有低延迟 327K 神经元卷积神经网络处理流水线
本文介绍了一种嵌入式智能视觉传感器芯片，包括基于事件驱动的相机和低功耗异步脉冲卷积神经网络计算体系结构，可以高效地提取大量传感器数据的高级信息，并以极低的延迟和能量消耗有效处理图像信息。
PDFa year ago