memory consumption | BriefGPT

关键词memory consumption

搜索结果 - 50

MemDPT：高效内存差分隐私语言模型
通过提出的创新训练框架 MemDPT，本文在减少大型语言模型的内存成本的同时，强调保护用户数据的隐私，通过边缘网络和反向网络设计实现了差分隐私内存高效微调方案，达到了 2 至 3 倍的内存优化，并提供了可靠的隐私保护，确保用户数据的安全和保
PDF16 days ago
ICML迈向可解释性的深度本地学习与渐进梯度调和
本文研究了神经网络训练的局部学习方法，并提出了一种梯度协调的局部训练策略，旨在减少内存消耗并提高性能。
PDF25 days ago
ACL大型语言模型高效推理的层压化 KV 缓存
提出了一种新的方法，只计算和缓存少量层的键值以大幅节省内存消耗并提高推理吞吐量。在大型语言模型上的实验证明，该方法的推理吞吐量比标准 Transformer 高 26 倍，同时在语言建模和下游任务中具有竞争性能。此外，该方法与现有的 Tra
PDFa month ago
GNNavigator: 基于自动指南探索的图神经网络自适应训练
GNNNavigator 是一个自适应的 GNN 训练配置优化框架，它能够通过软硬件统一抽象、GNN 训练性能模型和设计空间探索解决方案来满足不同 GNN 应用需求，实验结果显示，GNNNavigator 可以实现长达 3.1 倍的加速和
PDF3 months ago
高效可学习的单幅图像超分辨率协同注意力
我们提出了一种新颖的可学习协同注意力（LCoA）方法，通过引入归纳偏差来解决非局部建模中的高计算复杂性和内存消耗问题，并将其集成到深度可学习协同注意力网络（LCoAN）中，与其他先进的超分辨率方法相比，在推理时间、内存消耗和重建质量等方面取
PDF3 months ago
LISA: 用于节省内存的大型语言模型微调的逐层重要性采样
通过观察 Low-Rank Adaptation 在 fine-tuning 任务中的层内特性，我们发现了一种不同层之间权重归一化的不寻常偏度，利用这一关键观察，我们发现了一种非常简单的训练策略 ——Layerwise Importance
PDF3 months ago
FPT：用于高分辨率医学图像分类的参数和内存高效微调的细粒度提示调整
提出了一种用于医学图像分类的精细化提示调整（FPT）的参数高效调整方法，FPT 相较于其他参数高效调整方法明显降低了内存消耗，并通过引入精细化提示和重要标记选择等技术降低了训练成本和内存需求。
PDF4 months ago
MM分而治之：通过内存高效瓦片集成进行高分辨率工业异常检测
工业异常检测是计算机视觉中的重要任务，其实际用途广泛。为了解决处理高分辨率图像时出现的内存消耗问题，本文引入了块状集合的方法，在不修改底层架构的情况下，将输入图像划分为网格状瓦片，并为每个位置训练一个专用模型。通过引入重叠瓦片，利用传统的堆
PDF4 months ago
WKVQuant：量化权重和键 / 值缓存以提升大型语言模型的性能
该论文提出了一种针对大型语言模型的量化方法，即使用 WKVQuant 框架对权重和关键 / 值（KV）缓存进行量化，通过过去量化改进注意力计算，并引入二维量化策略处理 KV 缓存分布，结合跨块重构正则化进行参数优化，实验证明 WKVQuan
PDF4 months ago
通过层级角色差异来诱导端到端训练中的信息瓶颈：与逐层训练进行比较的分析
通过与逐层训练进行比较，本文重新考虑为什么端到端训练能够表现出卓越性能，并分析了中间表示的信息平面动态，揭示了端到端训练在不同层中展示不同信息动态的能力，以及表明层间的合作相互作用需要被考虑在深度学习的信息瓶颈分析中。
PDF5 months ago
LR-CNN：轻量级面向行的卷积神经网络训练以减少内存消耗
我们通过重新组织操作，将传统的一层一层的数据流规则打破，设计了一种轻量级架构，能够在不影响准确性的情况下移除大部分中间数据，有效降低内存消耗。我们特别研究了两个连续行之间的较弱依赖关系，提出了两种解决方案，并通过评估验证了其有效性。我们还验
PDF5 months ago
Curator: 多租户矢量数据库的高效索引
Curator 是一种专为多租户查询设计的内存向量索引，实现了低内存开销和高查询、向量插入和删除性能，并在两个常用数据集上得到了验证。
PDF6 months ago
Dr2Net：动态可逆双重残差网络用于高效调优
提出了一种称为 Dr²Net 的新型网络结构，通过减少内存消耗来对预训练模型进行微调，达到与传统微调相当的性能但显著减少了内存使用量。
PDF6 months ago
重新评估内存平衡的管道并行性：BPipe
通过对 BPipe 技术在 GPT-3 和 LLaMA 模型上的性能分析以及对 BPipe 性能评估方法的引入，我们发现了 BPipe 在 GPT-3 和 LLaMA 训练上性能不同的原因，并提出了一种新的估算 BPipe 性能的方法。
PDF6 months ago
具有正则化注意力分数的更强图转换器
通过引入一种新颖的 “边缘正则化技术”，我们解决了图神经网络的内存消耗问题，并改善了 Transformer 架构对图数据的处理能力。在无位置编码的情况下，通过边缘正则化技术能够稳定提升 Graph Transformer 模型的性能。
PDF6 months ago
SPT：使用稀疏化高效微调基于 Transformer 的语言模型
我们提出了 SPT 系统，通过引入稀疏性来高效地微调基于 Transformers 的模型，减少内存消耗，并且在各种模型配置上优于优化的基准模型，将峰值内存消耗降低了多达 50%，加速微调速度高达 2.2 倍。
PDF7 months ago
可视化位置识别的低比特量化神经网络的设计空间探索
通过研究紧凑卷积网络架构和后训练量化对视觉地点识别（VPR）性能的影响，我们不仅通过 recall@1 分数测量性能，还测量内存消耗和延迟，为受资源限制的 VPR 系统提供了设计建议。
PDF7 months ago
跨 1000 帧的 10 亿参数端到端时序动作检测
通过降低训练内存消耗，本研究提出了一种新颖的轻量级模块 —— 时间信息适配器（TIA），有效地增加了时间动作检测（TAD）系统的规模和输入视频的帧数，从而显著提高了检测性能。
PDF7 months ago
分量化专家混合 (MoQE): 低位量化和鲁棒性的互补效果
提出了一种名为 Mixture of Quantized Experts (MoQE) 的简单权重量化方法，可以降低 Mixture of Experts (MoE) 模型的内存消耗和延迟问题，同时保持可靠的模型性能，并可在大多数情况下显著
PDF9 months ago
使用改进的方差最小化的块化量化对图神经网络进行激活压缩
通过块状量化中间激活图，有效训练大规模图神经网络并显著减少内存消耗，同时改进和改正了 EXACT 策略的假设和方差估计。
PDF9 months ago