memory efficient | BriefGPT

关键词memory efficient

搜索结果 - 8

结构化逆快速自然梯度：大型神经网络的内存高效和数值稳定 KFAC
用结构化的无逆自然梯度下降方法（SINGD）解决了 KFAC 方法在低精度训练中的内存低效和数值不稳定的问题，并在大型神经网络上表现出很好的性能，甚至在半精度上常常优于 AdamW。
PDF7 months ago
EMNLP对抗多头：利用注意力头嵌入实现高效参数的多头注意力
我们提出了一种使用单个共享投影矩阵和多个头嵌入（MHE）的替代模块，实验证明我们的 MHE 关注机制在多个下游任务上显著提高了内存效率，并且相对于 MHA 仅需要可忽略的附加参数。
PDF9 months ago
科学数据的流式压缩通过弱相关稀疏识别
该研究发展了一种针对流动科学数据压缩的流式弱 SINDy 算法，通过在线流程中对底层数据特征进行压缩，并利用流动适应性的 POD 降维技术进行高维流式数据压缩，可在低内存成本下准确重构完整数据流。
PDF10 months ago
高效多视图立体通用二分查找网络
本文提出了一种高效的多视图立体重建方法，基于深度学习和二分搜索算法，大大降低了所需内存，同时取得了领先的精度。
PDF3 years ago
CVPRMoViNets：高效视频识别的移动视频网络
提出了 MoViNets，一种计算和内存高效的移动视频网络，用于在线推断，借助三步方法实现计算效率和存储空间大幅提升。
PDF3 years ago
高效三维深度学习的点云卷积神经网络
本文提出了一种称为 Point-Voxel CNN（PVCNN）的算法，其使用点的形式来表示三维输入数据以减少内存消耗，并通过使用体素来执行卷积以提高效率。该算法在语义分割数据集上实现了比基线模型更高的准确性，同时还在速度上超过了最先进的基
PDF5 years ago
PQTable: 使用哈希表进行产品量化码的非穷举快速搜索
本文提出了一种 PQTable 搜索方法，通过哈希表实现对 product-quantized codes 的快速搜索，相比线性 PQ 扫描可快 100 倍至 10 万倍，具高度的内存使用效率，无需手动设计参数设置和重要训练，从而成为一种实
PDF7 years ago
用亚线性内存成本训练深度神经网络
提出一种系统性方法来减少深度神经网络训练的内存消耗，通过算法设计，在每个小批量仅需要一个额外正向传播的计算成本的情况下，以 O（sqrt（n））的内存成本训练 n 层网络，使用计算图分析进行自动原地操作和内存共享优化，可以在更少的计算成本下
PDF8 years ago