- HLQ: 基于 Hadamard 低秩量化的快速高效反向传播
通过引入一种名为 Hadamard Low-rank Quantization (HLQ) 的优化策略，该研究主要关注在降低卷积和线性层的反向传播成本，在从头训练和微调过程中实现显著的内存节省和加速，并且获得了卓越的性能表现。
- Grad-Instructor：元学习和自动机器学习的可解释性评估神经网络的通用反向传播
使用强化学习训练的评估神经网络（ENN）作为反向传播中的附加评估函数，提高深度神经网络训练的方法，通过对 0.15^2 倍分辨率的输入数据进行处理，ENN 实现有效的推理，结果表明，使用该方法训练的 MLPs 的平均测试准确率达到了 93. - 深度学习模型训练中的能量成本最小化：高斯采样方法
基于模型的过参数化性质和损失函数的平滑性，我们提出了一种名为 “GradSamp” 的方法，通过从高斯分布中采样梯度更新，以高效计算深度学习模型的梯度，从而减少反向传播过程中的能量开销。我们的实验结果验证了 “GradSamp” 在不损失性 - 不对称权重的深度学习
提出了 Product Feedback Alignment（PFA）算法，它在避免显式的权重对称的同时，几乎与反向传播（BP）算法相同，能够在深度卷积网络中实现可比较的性能，从而提供了对长期存在的权重对称问题的新解决方案，实现了更加符合生 - 平衡中的贡献，按比例连接：从简单的生物可塑性规则中产生反向传播
通过介绍一种新的神经可塑性规则，该研究提供了一种在大脑中实现反向传播的潜在机制，并在数学模拟和人工神经网络实验中证明该规则在网络中诱导出不同的社区结构，从而呈现出一种生物学上可行的 BP 实现方式。
- ICLR稳定时域反向传播以学习复杂物理
借鉴物理模拟的平衡梯度流和修改反向传播的方法，提出了改进梯度场优化的替代向量场，实现精确控制信号并解决复杂任务。
- 基于可学习时延线的可微反馈延迟网络的数据驱动房间声学建模
我们提出了一种基于可微分的反馈延迟网络 (FDN) 的参数寻找方法，通过反向传播同时学习每个延迟网络参数，以使其输出呈现出测量的房间脉冲响应的感知特性。通过实验证明，该方法能够产生时间不变和频率无关的 FDN，能够与所需的声学特性紧密匹配， - 近似似然比：增强神经网络训练的正向唯一和并行框架
通过利用自然的并行性和高性能训练策略，介绍了似然比方法在神经网络训练中的潜力及其逼近技术在梯度估计中的有效性。
- 反向 - 前向微分
该研究论文探索了前向梯度计算作为可替代的反向传播方法，在可逆网络中减少内存占用的潜力，并引入了一种基于矢量 - 逆雅可比积的新技术，加速前向梯度计算并保持真实梯度的保真度。该方法在网络深度的时间复杂度是线性的，相比朴素前向传播的二次时间复杂 - 神经电路图：深度学习架构的通讯、实现和分析的稳健图示
使用神经电路图图示化深度学习架构，展示架构的细节、数据的排列方式以及线性操作的并行行为，并且能够提供数学洞察力和算法的时间和空间复杂度分析。
- 通过可微优化有序加权平均值学习公平排名策略
学习排序（LTR）是最广泛使用的机器学习应用程序之一。本文展示了如何将有效可解的公平排序模型整合到 LTR 模型的训练循环中，以在公平性、用户效用和运行效率之间取得有利的平衡。特别是，本文首次展示了如何通过 OOW 目标的约束优化进行反向传 - 面向脉冲神经网络的前向直接反馈对在线梯度估计的应用
在寻找与当前最先进的神经网络训练算法相比更节能的替代方法方面，有一种对脉冲神经网络的兴趣，因为它们可以在神经形态硬件平台上高效模拟能量。然而，这些平台在训练算法设计方面存在限制，最重要的是不能实现反向传播。本文提出了一种新颖的神经形态算法 - 卷积神经网络在遥感场景分类中的 Kronecker 乘积特征融合
远程感知场景分类是一个具有挑战性和有价值的研究课题，其中卷积神经网络在其中发挥着至关重要的作用。本文提出了一种利用 Kronecker 积的新型特征融合算法，并讨论了与该算法相关的反向传播过程，实验证明了该方法在远程感知场景分类中提高卷积神 - 分析与增强展开优化的反向传播收敛性
通过算法展开的反向传播与通过迭代方法求解线性系统的解是渐进等价的，在构建更高效的反向传播规则方面提出了折叠优化系统。
- 解锁深度学习：神经网络并行分块训练的 BP-Free 方法
通过引入一种新的无反向传播的方法，本研究提出了一个基于局部误差信号的块状神经网络，可以分别优化不同的子神经网络，并通过并行计算局部误差信号来加速权重更新过程，取得了比使用端到端反向传播和其他最先进的块状学习技术更好的性能，特别是在 CIFA - AAAI前向 - 前向算法的卷积式分通道竞争学习
通过通道竞争学习在卷积神经网络中提出前向传递算法（Forward-Forward Algorithm）的改进方法，构建一个逐层有竞争性的学习过程，避免了负数据的生成、收敛速度较慢以及在复杂任务上性能不足等限制，在图像分类任务中，我们的方法优 - 使用平衡传播训练 Hopfield 变分自编码器
该研究论文介绍了平衡传播在训练变分自编码器中的应用，利用对称的 Hopfield 网络结构，提出使用一种模型兼作编码器和解码器，可有效减少 VAE 实施所需芯片尺寸，为更高效的模拟硬件配置铺平了道路。
- Zenkai — 超越反向传播的探索框架
Zenkai 是一个开源框架，旨在给予研究人员在构建和训练深度学习机器方面更多的控制和灵活性，通过将深度学习机器划分为具有自己目标和学习算法的半自主学习机器的层次结构，以允许研究者更大程度地探索例如使用非可微分层或基于误差反向传播以外的学习 - 显式优化神经网络减少反向传播需求并发现更好的极值
基于反向传播的迭代微分逼近方法使得神经网络的优化成为可能，但目前仍然计算代价高昂，尤其是在大规模训练模型时。本文提出了一种计算效率高的神经网络优化替代方案，既能降低神经网络的扩展成本，又能为低资源应用提供高效的优化。通过数学分析其梯度，我们 - 具有自我关注前馈神经单元的显式基础模型优化
通过显式解法，可以在小规模数据上训练出性能良好且参数较少的神经网络，这种解法比传统的反向传播方法更高效，并能在低资源应用中实现高效优化。