accuracy enhancement | BriefGPT

关键词accuracy enhancement

搜索结果 - 5

非线性增强的自适应激活函数
通过引入具有偶次立方非线性的简单实现的激活函数，可以提高神经网络的准确性，而不需要大量的计算资源。这部分是通过收敛性和准确性之间的显著折衷来实现的。该激活函数通过引入可优化参数来增加标准 RELU 函数的自由度，从而调整非线性程度。通过与标
PDF3 months ago
MobileLLM: 优化千亿级语言模型，以满足设备上的使用需求
通过设计深而瘦的体系结构以及嵌入共享和分组查询注意机制，我们提出了一种名为 MobileLLM 的强基线网络，它在先前的 125M/350M 最先进模型上分别获得 2.7%/4.3% 的准确度提升。此外，我们还提出了一种即时的分块权重共享方
PDF4 months ago
利用随机矩阵理论提高深度学习的准确性
通过利用随机矩阵理论来进行深度神经网络的层剪枝，我们可以实现神经网络结构和误差曲面的简化。通过奇异值分解（SVD），我们优化地确定了在训练过程中应该从神经网络的权重层中移除的奇异值个数，从而提高了神经网络的简化和精度，并在 MNIST 和
PDF9 months ago
ECCV面向移动设备实时推理的基于图案的稀疏度图像增强
介绍了一种新的基于模式的稀疏性方法，该方法包括模式和连接度稀疏性，旨在通过权重剪枝同时提高模型准确度和硬件加速性能，并提供了一种针对移动设备的高效 DNN 执行的解决方案。
PDF4 years ago
ICLR网络增量量化：实现低精度权重的无损卷积神经网络
介绍了一种增量网络量化方法，该方法可以高效地将任何已训练好的卷积神经网络模型转换为低精度版本，它的权重被限制为二的幂次或零，并成功解决了现有方法存在的精度丢失问题。
PDF7 years ago