ICCVSep, 2015

通过矩阵反向传播训练具有结构层的深度网络

PDF
TL;DR本文提出了一种将全局结构化计算形式化整合到深度计算架构中的方法，其核心是开发了一种新的基于矩阵变化的 backpropagation 理论和实践，该方法广泛适用于机器学习或计算感知问题，我们在 BSDS 和 MSCOCO 基准测试中执行视觉分割实验，结果表明端到端训练的基于第二阶池化和归一化切割层的深度网络，使用矩阵反向传播优于没有利用全局层的对应网络。
deep neural networkglobal structured computationmatrix backpropagationvisual segmentationmachine learning
发现论文，激发创造
  • 用于高效深度神经网络的可微分广义结构矩阵学习

    该论文研究了如何通过梯度下降学习结构化权重矩阵的一般化和可微分的框架，以取代常见神经网络模型中不透明的、层与层之间可能不同的密集矩阵，从而构建高性能且复杂度较低的高效深度神经网络。

    Oct, 2023

  • 矩阵神经网络

    提出了一种矩阵神经网络（MatNet），通过双线性映射从上一层单元中感知总结信息，并方便地扩展到多模输入，应用于 MNIST 手写数字分类和图像超分辨率任务中，具有与最先进方法可比较的性能和大大降低的复杂性。

    Jan, 2016

  • 生物启发深度学习算法和架构的可扩展性评估

    通过对 MNIST、CIFAR-10 和 ImageNet 数据集中的机器学习任务进行实验，我们提出和探究了目标传播和反馈对齐算法的变体，在全连接和局部连接的体系结构下，大部分算法都可以很好的完成 MNIST 数据集的任务。然而，我们发现在面对 CIFAR 和 ImageNet 数据集时，这些算法在局部连接的体系结构下表现不如反向传播算法，因此我们需要新的架构和算法来扩展这些方法。

    Jul, 2018

  • 使用梯度下降训练形态神经网络：一些理论洞见

    研究了基于差分和反向传播的形态学网络的潜力和限制，尤其是在初始化和学习速率方面的理论指导，以解决当形态学网络层数增加时的训练困难。

    Feb, 2024

  • 深度神经网络的稳定结构

    本文提出了一种新颖的前向传播算法，其灵感来源于 ODE 系统，能够克服深度神经网络设计和训练中的挑战，并通过对稳定性和合理性的分析，发展了新的网络架构，以稳定深度学习，且具有竞争力。

    May, 2017

  • 基于随机哈希的可扩展可持续深度学习

    提出了一种基于哈希的新技术，通过只处理少量的节点来显著降低训练和测试深度神经网络的计算成本，该算法只使用了原始模型总乘法数的 5％，同时保持平均精度在 1％以内，其更新始终是稀疏的，使得算法非常适合异步和并行训练，端到端实验展示了该算法的可扩展性和可持续性。

    Feb, 2016

  • 广义反向传播，案例研究：正交性

    本研究介绍了一种新的 backpropagation 算法，并使用 Riemannian 几何和优化技术在矩阵流形上实现了层与层之间约束权重的深度神经网络，特别是引入了 Stiefel 层，对于无监督的特征学习至细粒度图像分类有很多好处。

    Nov, 2016

  • 直接反馈对齐在现代深度学习任务和架构中的拓展

    本文探讨了替代反向传播算法的方案，研究了直接反馈对神经视图合成、推荐系统、几何学习和自然语言处理的适用性，并发现该方案可以成功训练各种现代深度学习架构，其性能接近于微调的反向传播，支持在没有权重传输的情况下解决具有挑战性的任务。

    Jun, 2020

  • 目标传播的理论框架

    本研究中，我们分析了一种叫做目标传播（TP）的替代反向传播（BP）的方法，从数学优化的角度进行了研究，并发现了它的基本限制。我们提出了一个创新性的重构损失来改善反馈权重训练，并通过允许直接反馈连接从输出到每个隐藏层来引入架构灵活性。实验结果表明，与差分目标传播（DTP）相比，性能得到了显著提高，并且前向权重更新与损失梯度的对准得到了改善。

    Jun, 2020

  • 非线性输出转换的深度结构化预测

    本研究提出一种新型模型，可用于语义分割等任务中，综合多种现有方法，实现了图像分割中非线性输出空间转换，同时保持了现有推理技术的适用性。

    Nov, 2018