- 通过反向传播学习离散有向无环图
本文提出 DAG-DB 框架，采用离散反向传播技术从数据中学习有向无环图，其使用了内在概率分布采样二元邻接矩阵，然后学习分布的参数。
- 超越反向传播的尺度定律
使用缩放定律研究了 Direct Feedback Alignment（DFA）在训练因果解码器专用变压器的效率，在计算和数据需求方面没有超越反向传播，需要更多实证方法来更好地理解建模决策。
- EMNLP非自回归翻译的多粒度优化
本论文提出了一种针对非自回归机器翻译的多粒度优化方法，利用反向传播集成不同粒度的翻译段的模型行为反馈，实现在 WMT 基准测试集上超越对比模型，且在 WMT'16 En-Ro 上实现了最佳性能，在 WMT'14 En-De 上实现了高竞争的 - 脉冲神经网络的在线时域训练
本文提出了一种称为 OTTT 的 SNN 在线训练方法，通过跟踪神经前体活动和利用瞬时损失和梯度来实现向前的时间学习，并理论分析证明了 OTTT 的梯度能够在前馈和递归条件下提供与基于脉冲表示的梯度相似的下降方向，同时避免了 BPTT 对 - 随机正交加性滤波器：深度神经网络梯度消失 / 爆炸问题的解决方案
本文提出了一种新的神经网络结构，旨在避免消失／爆炸梯度问题，既解决了该问题，又取得了比许多其他结构更好的性能表现，它的核心思想是通过滤波和正交加和来实现非线性激活层之间的结合，从而防止梯度消失或爆炸，并成功应用于超过 50k 层和 10k - 信念传播算法推广了反向传播算法
本文探讨了人工智能中最重要的两个算法：反向传播 (backpropagation) 和置信传播 (belief propagation)，并发现了置信传播是反向传播的一种推广形式，这是一项理论贡献，对于工程研究人员改善使用其中一个算法的系统 - 通过本地竞争来实现激活学习
本文提出了一种生物可行的局部学习规则，利用神经元之间的局部竞争完成无监督特征发现，使用称为激活学习的正向学习范例对样本进行分类，在一些小数据集上能够与反向传播相媲美；同时在实现异常检测时表现出色。
- 非光滑自动微分的复杂度
本文提出了一种用保守梯度模型来估计算法分化的计算成本的方法，并且较为详细地描述了其在反向传播和前向传播中的应用。主要方法是基于局部 Lipschitz 半代数或可定义基本函数的方法，可以极大地加速了反向传播过程。
- 能量模型微观推断极限下的反向传播：预测编码、平衡传播和对比性赫布学习的统一
本文提供了能量基模型（EBMs）在逼近反向传播（BP）方面的综合理论，统一了预测编码、平衡传播和对比 Hebbian 学习等算法，从 EBMs 的自由相平衡这一简单而普遍的数学特性出发，在不同的能量函数下进行选择以得出一类逼近 BP 的算法 - CVPRVALHALLA: 机器翻译的视觉幻觉
本文提出一种名为 VALHALLA 的视觉假象框架，利用自回归幻化 Transformer 从源句预测离散的视觉表示，与输入文本合并后输出目标翻译，通过标准反向传播训练数据。实验证明，该方法在多个数据集上均优于文本输入模型和最先进模型。
- 分类二值化：软函数真的有必要吗？
该文提出了将网络二值化看作是二元分类问题，并使用多层感知机（MLP）作为分类器解决大梯度误差的问题，实验表明该方法可显著提高二进制网络的性能。
- 大脑皮层微电路的计算框架近似于符号一致的随机反向传播
本研究提出一种基于神经科学机制实现随机反向传播的框架，该框架采用三种类型的元件和两种类型的突触连接来计算和传播错误信号，并支持全局定义的尖峰误差函数的多层尖峰神经网络的训练。使用局部部件中操作的 Hebb 定律来更新突触权值并以生物学可行的 - 反向链接：具有监督的本地训练
该工作提出了一种新型的本地化训练算法，BackLink，它引入了模块间的反向依赖关系，采用了一定的误差传播长度限制，并在深卷积神经网络中进行了广泛的实验，表明我们的方法通过提高分类性能来改善本地培训算法。
- 高效适配深度神经网络的单向薄适配器
该论文提出了一种新的适配器网络 UDTA，通过为主干网络提供辅助特征来帮助分类器适应新数据。在五个细粒度分类数据集的实验中，UDTA 显著减少了反向传播所需的计算和训练时间，并显示出与传统适配器模型相当甚至更好的准确性。
- 预测编码：走向超越反向传播的深度学习未来？
回传误差算法已经成为深度学习成功的基础之一，而预测编码则利用局部学习，具有潜力克服其限制并在当前深度学习技术之上发展。本文综述了有关这个问题的各种作品及其理论联系，并展示了预测编码网络相对于深度神经网络具有更高的灵活性及其在机器学习分类任务 - 大型线性层的高效反向传播优化
该研究提出了一种将随机矩阵乘法用于梯度反向传播的方法，并证明该方法可以通过降低所需内存容量，从而更加有效地处理神经网络中的线性层。通过在语义理解任务中对 RoBERTa 模型进行测试，结果表明，该方法即使降低了测试准确度，但仍能实现显著的内 - ICLR基于脉冲编码的快速准确循环神经网络排名编码
本研究表明，受到生物突触神经网络启发，例如秩序编码（RC）的时间编码可以应用于传统通用人工神经网络（如 LSTMs），并且能够提高计算效率，而且可以通过调整阈值或正则化参数来实现速度和准确度之间的权衡。
- CVPR被修剪的双曲线分类器是超双曲线分类器
研究表明，超几何神经网络 (HNNs) 可以利用它将 Euclidean 空间嵌入到超半球中的表征能力实现更好的分类性能，但该架构连接 Euclidean 表征和超几何分类器存在着梯度消失的问题，本文提出一个简单的解决方法：在训练 HNNs - 反向传播邻域聚合：用于脉冲神经网络准确训练的方法
提出了一种新颖的类反向传播算法 NA，用于解决在脉冲神经网络中通过邻域聚合的方式计算出精确误差梯度，进而训练模型，该算法在多个数据集上达到了目前最佳性能。
- CVPRCAMERAS: 图像显著性的增强分辨率和保持理智的类激活映射
CAMERAS 是一种新的技术，可以计算高保真度的反向传播显著性地图，而不需要任何外部先验，并保留地图的稳定性。该方法通过多尺度积累和融合激活图和反向传播的梯度来计算精确的显著图，从而能够显著提高黑箱深度视觉模型的解释能力。同时，CAMER