- 稳定线性子空间识别：一种机器学习方法
SIMBa 是一种使用反向传播的离散线性多步提前状态空间系统辨识方法家族，它通过引入 Schur 矩阵的基于线性矩阵不等式的自由参数化来确保辨识模型的稳定性。SIMBa 通常胜过传统线性状态空间辨识方法，并能在同时实现最先进的拟合性能和稳定 - 评估 XAI 事后技术的准确性：与地面真实解释数据集的比较研究
评估可解释人工智能方法与其基础模型的逼真度是一项具有挑战性的任务，本研究通过引入三个可靠的解释基准数据集，对当前最先进的可解释人工智能方法进行公平客观的比较，以识别逼真度较低的方法，并将其排除在进一步研究之外，促进了更可靠和有效的可解释人工 - 用于优化算法的随机前向模式自动微分
神经网络的反向传播过程利用了自动微分的基本要素，通过前向模式的自动微分或 Jacobian 向量乘积 (JVP) 来计算损失函数的方向导数，并使用随机采样的不同概率分布计算这些方向导数，本文对这些方法进行了严格的分析并给出了收敛速率，同时还 - 灵感于复杂集体的带有本地误差信号的领导者 - 跟随者神经网络
提出了一种灵感来源于自然界集合组织规则的神经网络架构，该架构包含领导者和追随者，并通过利用局部误差信号和全局损失进行训练，实现了比以往基于反向传播算法的 MNIST 和 CIFAR-10 算法具有显著更低的错误率，甚至在 ImageNet - 驯服二值化神经网络与混合整数规划
通过将训练二值化神经网络的问题重新定义为一个混合整数规划的亚可加性对偶问题，我们展示了二值化神经网络具有一种平滑可控的表示形式，从而使得在二值化神经网络的背景下可以使用 Bolte 等人的隐式微分的框架，为实际实现反向传播提供了可能。此方法 - 深度神经网络中的节点扰动有效学习
Backpropagation (BP) is the dominant method for training deep neural networks, but node perturbation (NP) proposes learn - 稀疏反向传播用于 MoE 训练
通过 SparseMixer 建立了稀疏计算与反向传播之间的桥梁，提供可靠的梯度估计，并加速了 Switch Transformer 的训练收敛速度。
- 高效可行生物合理的对抗训练
比较研究了 BP 算法和 PEPITA 算法在计算机视觉任务中对抗攻击的鲁棒性，结果显示 PEPITA 算法具有更高的内在对抗鲁棒性，并且在相同自然准确率下，其对抗准确率平均下降 0.26%，而 BP 算法下降 8.05%。
- 直接在可微奖励上微调扩散模型
通过直接奖励微调方法（DRaFT）对扩散模型进行微调，以最大化可微分奖励函数，实现了强化学习方法无法超越的强大性能，通过在采样过程中反向传播奖励梯度，并且提出了更高效的 DRaFT 变体：DRaFT-K 和 DRaFT-LV。同时，通过与之 - RHINO：基于哈希的隐式神经表示的正则化
通过引入连续的解析函数，RHINO 能够以无缺陷的反向传播从网络输出回到输入坐标，从而增强正则化，提高了多种基于哈希的隐式神经表征模型的性能。
- 自监督学习中正向正向算法的研究
我们首次研究了自监督表征学习中前向 - 前向算法与反向传播的性能，并对所学到的表征空间提供了深入洞察。在四个标准数据集（MNIST，F-MNIST，SVHN 和 CIFAR-10）以及三种常用的自监督表征学习技术（旋转，翻转和拼图）上，我们 - ICMLFedFwd：无需反向传播的联邦学习
使用一种名为 FedFwd 的新方法，该方法在本地训练过程中通过层级局部更新参数来减少计算量，无需在训练期间存储所有中间激活值。在评估 MNIST 等标准数据集上，我们进行了各种实验，表明它与其他依赖于反向传播算法的联邦学习方法具有竞争力。
- TinyProp -- 自适应稀疏反向传播用于高效的 TinyML 设备上的学习
使用 TinyProp 方法，在嵌入式设备上训练深度神经网络，可以显著减少计算负载和加快训练速度，同时减少了精度损失。
- 使用端到端光传播训练神经网络
光学是下一代机器学习计算硬件的令人激动的方向，能够在计算速度和能源效率方面提供数个数量级的增强。本研究首次提出了一种简单而通用的方案，通过饱和吸收体作为激活单元，并通过泵浦 - 探测过程实现所需的性能以解决光学实现反向传播的挑战，从而展示了 - 使用线性回归迭代训练神经网络
本文提出了一种基于线性回归的方法来学习神经网络的权重和偏置，与标准的基于梯度的反向传播相比更为快速、稳定，但仅限于简单前馈神经网络、标量回归问题和可逆激活函数。
- ENN：一种带有 DCT 自适应激活函数的神经网络
该研究提出了一种新的神经网络架构 - Expressive Neural Network (ENN)，其中非线性激活函数使用离散余弦变换 (DCT) 建模，并在训练过程中使用反向传播进行自适应，实现了较高的灵活性和表现力，同时可以适应不同的 - 使用可学习间距和扩张卷积学习脉冲神经网络中的延迟
提出了一个新的离线离散时间算法，基于通过时间的 1D 卷积进行模拟，来学习深度前馈 SNN 中的延迟并提高其表现，这一算法使用了可学习间隔的扩张卷积（DCLS），在测试中表现优于最新技术，为时序数据处理中精确模型的发展提供了潜力。
- 随机旋转高斯化收敛速率
本研究通过理论分析和实证研究发现，虽然 Gaussianization 是一种简单的生成模型，但其训练速度在维度增加时会减慢，因为模型无法捕捉维度之间的依赖关系。
- CVPRPaReprop: 快速并行可逆反向传播
本研究提出了 PaReprop 算法，该算法能够在反向传播阶段中将激活重新计算的额外计算开销与梯度计算本身并行化，实现记忆高效训练，并比普通可逆训练达到高达 20% 的更高训练吞吐量。
- 深度单脉冲网络与深度 ReLU 网络的训练轨迹是否等价？
使用精细神经网络 (SNNs) 进行训练的鲁棒性不如人工神经网络 (ANNs) 的鲁棒性。提出了一种解决方法，基于 ReLU 到时间第一次触发 (TTFS) SNNs 的映射算法，推导出了用于网络初始化和 SNN 参数化的通用解决方案，可使