back propagation | BriefGPT

关键词back propagation

搜索结果 - 11

视觉任务中二阶指数缩放优化器的统一平衡理论
我们通过使用变量的二阶指数尺度（SMES）的潜在方法，提出了一种统一一阶优化器的可能方法。我们从反向传播开始，解决经典现象（如梯度消失和梯度爆炸），以及与数据集稀疏性相关的问题，引入了优化中的平衡理论。通过这个理论，我们认为可以在更广泛的推
PDFa month ago
神经常微分方程网络的伴随方法注记
通过摄动和算子伴随方法，我们严格地给出了右伴随形式。从推导中我们得到以下结果：1）损失梯度不是一个 ODE，而是一个积分，我们展示了原因；2）传统的伴随形式与反向传播结果不等价。3）伴随算子分析表明，只有在离散伴随具有与离散神经 ODE 相
PDF4 months ago
一种提高神经网络准确性的新方法：恢复传统反向传播技术
本研究提出了一种新的即时参数更新方法，通过消除每层计算梯度的需要来加速学习、避免梯度消失问题，并在基准数据集上优于最先进的方法，为高效有效的深度神经网络训练提供了一个有希望的方向。
PDFa year ago
深度学习的训练简化与模型简化：一种最小化反向传播方法
该研究提出了一种基于梯度稀疏化和模型简化的技术来降低神经网络的训练和推断计算开销，并且在不降低模型准确率的情况下，实现了对模型的自适应简化，具有很高的应用价值。
PDF7 years ago
标签嵌入网络：学习标签表示以软训练深度网络
本研究提出了一种标签嵌入网络的方法，在深度网络的训练过程中学习标签表示（标签嵌入）。通过反向传播，该方法可以自适应地自动地学习标签嵌入，将原来的单热表示丢失函数转换成带有软分布的新的丢失函数，使得原来不相关的标签在训练过程中具有连续的相互作
PDF7 years ago
卷积神经网络的最小化误差反向传播
该研究提出了一种有效的计算方法，通过对全梯度的精简计算以及对梯度进行稀疏选择，来提高卷积神经网络中反向传播的计算效率，实验结果表明只有 5% 的梯度需要上传就可以达到原始 CNN 的效果甚至更好。
PDF7 years ago
深度 CNN 学习摄影美学
提出了一种基于深度卷积神经网络的多任务自动照片美学评估方法，在预测总体美学评分的同时联合学习了八个美学属性，并通过梯度反向传播可视化方法，展示了学习到的模型所代表的属性的重要图像区域。
PDF7 years ago
ICMLmeProp: 稀疏化反向传播，加速深度学习，降低过拟合
通过保留权重矩阵的前 k 个元素并实现前向传播和反向传播来减少计算成本，该方法可以提高神经网络的学习效率并改善其准确性。
PDF7 years ago
ICML使用多层感知器识别文本图像
该篇论文介绍了如何应用神经网络和反向传播算法实现光学字符识别（OCR）并转换为可编辑机器可读的数字文本格式。
PDF8 years ago
矩阵神经网络
提出了一种矩阵神经网络（MatNet），通过双线性映射从上一层单元中感知总结信息，并方便地扩展到多模输入，应用于 MNIST 手写数字分类和图像超分辨率任务中，具有与最先进方法可比较的性能和大大降低的复杂性。
PDF8 years ago
NIPS通过深度架构上的镜像下降反向传播进行 LDA 的端到端学习
本研究开发了 BP-sLDA 和 BP-LDA，前者是一个完全判别式的学习方法，后者是一个新的无监督 Latent Dirichlet Allocation 模型的学习方法，二者都采用了反向传播算法和镜像下降算法进行参数估计，并取得了比之前
PDF9 years ago