Jan, 2019

卷积神经网络的解耦贪心学习

PDF
TL;DR本文提出了解决反向传播过程中每层必须等待信号传播整个网络才能更新的锁定问题的替代方案 Decoupled Greedy Learning，通过使用最小反馈进行网络训练，并探讨了该方案的优化方法，可以在线性层级并行化的情况下独立地训练网络层或模块，本方案能够在异步环境下运行，并且具有更好的泛化性能，实验证明其对于 CIFAR-10 数据集和大规模 ImageNet 数据集的分类效果优于其他方案。
neural networkback-propagationdecoupled greedy learningasynchronousgeneralization
发现论文，激发创造
  • 具收敛保证的解耦并行反向传播算法

    我们提出了一种去耦合的并行反向传播算法，利用延迟梯度解除了反向锁定，保证了深度学习的优化收敛性，并在标准数据集上展示了该算法的实验结果。

    Apr, 2018

  • 使用合成梯度的分离神经接口

    通过引入对神经网络图计算的未来模型，预测梯度和输入；实现神经网络各部分的解耦，异步更新；并对前馈模型、循环神经网络、分层 RNN 等进行了实验和验证。

    Aug, 2016

  • 解耦图神经网络：同时训练多个简单的 GNN，而不是一个复杂的网络

    提出了一种将多层 GNN 分解为多个简单模块的框架，并采用前向和后向训练机制进行高效训练，可以避免由于层数增加导致的依赖性快速增长和大量时间消耗。通过理论证明和实验结果表明，该框架的性能可行且高效。

    Apr, 2023

  • 具有周期全局引导的本地监督学习

    提出一种周期性引导的本地化学习方法，旨在提升神经网络的泛化能力。该方法将全局目标函数反复引入神经网络的本地化损失训练中，并在多个模块的配置中具有重要的性能提升。

    Aug, 2022

  • 使用特征重放训练神经网络

    通过提出一种新的并行目标形式及引入特征重放算法，本文成功地解决了传统反向传播算法无法平行更新网络层的问题，并在实际中实现了更快的收敛速度、更低的内存消耗和更好的泛化性能。

    Jul, 2018

  • LoCo: 本地对比度表示学习

    本文针对现有无监督对比学习算法存在的局部学习和全局学习性能差异的问题，提出了一种新的解决方案，即将本地块重叠并堆叠在一起以增加解码器深度，并为上层块隐含地向下层块发送反馈。通过在 ImageNet 中的实验以及直接使用 readout 特征进行对象检测和实例分割等复杂下游任务，我们发现该方法可有效处理局部学习和端到端对比学习算法之间的性能差距。

    Aug, 2020

  • 超越端到端训练：以上下文补充提升贪婪局部学习

    从信息论的角度出发，我们在贪婪的局部学习中提出了一种 ContSup 方案，它将隔离模块之间的上下文补充作为补偿信息损失的手段。在基准数据集（即 CIFAR、SVHN、STL-10）上的实验证明，我们提出的方法能够显著提高贪婪的局部学习性能，并且只带来最小的内存和计算开销，可以增加隔离模块的数量。

    Dec, 2023

  • 门控线性网络

    该论文介绍了一种新的神经网络结构，Gated Linear Networks (GLNs)，其区别于当代神经网络的地方是，其信用分配机制具有分布式和本地化特性；每个神经元都直接预测目标，放弃了学习特征表示的能力，而选择快速在线学习。使用数据相关门控和在线凸优化，个别神经元可以建模非线性函数。该论文证明了该架构在极限情况下具有普遍的学习能力，并且有效的模型容量随着网络大小的增加而增加，与深度 ReLU 网络相似。此外，该论文证明 GLN 学习机制具有非常强的抗遗忘能力，在标准基准测试中表现与带有 dropout 和 Elastic Weight Consolidation 的 MLP 相当。这些理论和实证特性将 GLNs 定位为当代离线深度学习方法的补充技术。

    Sep, 2019

  • IGLU：通过延迟更新实现高效的 GCN 训练

    本文介绍了一种基于缓存 GCN 中间计算结果的方法 IGLU，从而实现懒惰更新和降低计算成本，并通过对 Benchmark 实验的测试得出 IGLU 相对于标准 SGD 方法可以减少高达 88% 的计算量，并提升 1.2% 的准确度。

    Sep, 2021

  • 迈向可解释性的深度本地学习与渐进梯度调和

    本文研究了神经网络训练的局部学习方法，并提出了一种梯度协调的局部训练策略，旨在减少内存消耗并提高性能。

    Jun, 2024