backward propagation | BriefGPT

关键词backward propagation

搜索结果 - 5

DropBP：通过放弃反向传播来加速大语言模型的微调
通过 Dropping Backward Propagation（DropBP）方法，在保持准确性的同时减少计算成本，提高深度神经网络的训练效率。
PDF4 months ago
基于张量压缩的无反向传播训练 (物理信息) 神经网络
该研究论文提出了一种完全不需要使用反向传播的训练框架，通过引入压缩张量方差缩减方法和混合梯度评估方法，以及利用稀疏网格方法估计损失函数中的导数，该方法在训练规模和效率方面存在多个技术贡献，同时在 MNIST 数据集上与标准一阶训练相比，仅略
PDFa year ago
AAAI使用相对分段传播分析比较梯度和敌对激活，解释深度神经网络
本文提出了一种新的归因方法 Relative Sectional Propagation（RSP）来对深度神经网络的输出进行全面分解，该方法可以克服激活神经元的非抑制性质，以更清晰的类别区分性和详细的激活神经元说明来分解 DNNs 的预测结
PDF4 years ago
准确的二进制神经网络的前向和后向信息保留
本研究提出了一种信息保留网络（IR-Net）以解决二元神经网络在正向和反向传播中的信息丢失问题，并通过权衡和标准化权重以同时减少量化误差和信息损失来最小化参数的量化误差。在 CIFAR-10 和 ImageNet 数据集上的综合实验表明，所
PDF5 years ago
利用 WTA 哈希加速大规模分类的神经网络
该论文提出了使用优胜者通吃哈希技术来加速卷积神经网络中的全连接层的前向传播和反向传播。该技术显著降低了计算复杂度，使我们能够训练具有大量核的层而无需付出时间代价，并通过实现在训练期间提供 7 倍的速度提升，证明了该技术的有效性。
PDF9 years ago