memory cost | BriefGPT - AI 论文速递

关键词memory cost

搜索结果 - 5

AAAI高效内存可逆脉冲神经网络
我们提出可逆脉冲神经网络以降低训练过程中中间激活和膜电位的内存成本，通过实验证明我们的可逆 SNN 网络在网络深度上不增加每张图片的内存成本，并比现有模型在准确性和消耗的 GPU 内存方面表现更好。
PDF7 months ago
EMNLP压缩上下文以增强大型语言模型的推理效率
使用选择性上下文方法（Selective Context）可以显著提高大型语言模型（LLMs）的推理效率，减少内存占用和推理时间，并在维持可比较性能的基础上实现对上下文成本的 50％降低，36％的推理内存使用率降低以及 32％的推理时间降低
PDF9 months ago
推荐系统的聚类嵌入学习
本文提出了 “聚类嵌入学习”（CEL）作为嵌入学习中应对冷启动、低频用户和项目，以及内存成本等问题的综合解决方案，能够自动且动态地通过自上而下的方法对用户和项目进行聚类，而聚类内的实体共同学习共享的嵌入向量，被验证在减小嵌入表大小、提高性能
PDFa year ago
SAC: 通过稀疏自适应连接加速和结构化自注意力
本文介绍 Sparse Adaptive Connection（SAC）方法，将输入序列视为图，并通过构建关注边，以改进任务特定性能，优化了自注意力机制。通过在图形表示学习和图像分类中实施的广泛实验，证明了 SAC 在减少内存成本的同时，可
PDF4 years ago
神经网络的训练与推理的价值感知量化
提出了一种新的价值感知量化方法，通过将大多数数据应用极低的精度并单独处理一小部分高精度数据以减少总量化误差。该方法可显著减少 ResNet-152 和 Inception-v3 的激活器内存成本，并能实现 1％以下的 top-1 精度下降。
PDF6 years ago