sparse matrix multiplication | BriefGPT

关键词sparse matrix multiplication

搜索结果 - 7

提升推理速度：蝶式稀疏矩阵乘法的高效 GPU 内存管理
通过一项全面的基准测试，本研究评估了目前 GPU 上用于蝶形稀疏矩阵乘法算法的现状，旨在为用户提供一个简单的工具来选择最佳算法实现。结果显示现有实现在内存重写操作上耗费了总运行时间的高达 50％。同时，引入一种新的 CUDA 核心可以优化这
PDFa month ago
NeuraChip: 使用基于哈希的解耦空间加速器加速 GNN 计算
NeuraChip 是一种基于 Gustavson 算法的新型 GNN 空间加速器，通过分离稀疏矩阵乘法中的乘法和加法计算，实现了数据依赖性的独立利用，减少了片上内存中数据闲置的问题，并通过动态再分配哈希映射实现了计算资源的负载平衡，从而在
PDF2 months ago
Flash-LLM：使用非结构稀疏性实现成本效益高且高效的大型生成模型推断
Flash-LLM 是一种针对大型生成模型的低成本高效大规模推断框架，通过优化稀疏矩阵乘法，在高性能 Tensor Cores 上实现了显著的性能提升。
PDF10 months ago
Rosko: 稀疏矩阵乘法核函数的行跳跃外积
Rosko 提出了一种用于减少深度神经网络中计算和内存访问需求的稀疏矩阵乘法（SpMM）核，它允许在程序执行期间跳过整行计算，具有低稀疏管理开销。通过分析，我们有效地利用处理器核心来适应给定硬件特征的稀疏 CPU 核，并在不需要自动调整或搜
PDFa year ago
安全的跨平台社交推荐中利用数据稀疏性
本研究提出了一种安全的、跨平台的社交推荐框架 S3Rec，在保护数据隐私的同时，能够提高推荐性能和模型训练效率。该框架利用安全计算技术，通过稀疏矩阵乘法实现平台间数据交互。实验结果表明 S3Rec 的有效性。
PDF2 years ago
抖动反向传播：一种用于更高效深度神经网络训练的稀疏量化反向传播算法
本篇论文提出了一种名为 Dithered Backprop 的降低了反向传播的计算成本的方法，该方法利用一种被称为非减少抖动的量化方法诱导了稀疏性，从而可以通过计算高效的稀疏矩阵乘法来利用它，并证明该方法对于一些图像分类任务而言可以在不降低
PDF4 years ago
SpArch: 稀疏矩阵乘法的高效架构
本文提出了一种有效的稀疏矩阵乘法加速架构 SpArch，它联合优化了输入和输出矩阵的数据局部性。通过设计高度并行化的基于流的合并器和一种压缩矩阵表示，该架构使总 DRAM 访问次数减少了 2.8x，平均速度提高了 4x - 1285x，节约
PDF4 years ago