- 采用分层无监督学习减少前向算法中的数据和损失需求
最近的深度学习模型，如 ChatGPT，利用反向传播算法展示出令人瞩目的性能。然而，生物大脑过程与反向传播算法之间的差异被注意到。为了解决这个问题，出现了纯正向传播算法，它只通过前向传递来训练深度学习模型。尽管由于必须使用特殊的输入和损失函 - ColA: 梯度学习的协作调整
使用协作适应（ColA）和梯度学习（GL）的参数自由、模型不可知的微调方法在性能上与现有的参数高效微调方法相媲美甚至更好，在各种基准测试中 ColA 的计算性能更具成本效益，使得微调作为一项服务可通过将梯度计算卸载到低成本设备来实现。
- 全连接前馈神经网络中权重优化的闭式解决方案
该研究针对全连接前馈神经网络的权重优化问题，提出了使用最小二乘法来实现权重优化的方法。这种方法具有闭合形式解，能够在单次迭代中通过反向传播的方式优化每层神经元的权重，并且能够在几次迭代中适应输入到输出映射不是单射的情况。与现有解决方案相比， - 通过前向传播错误学习表示
基于正向传播方法和代数几何中的双重数概念，提出了一种在 CPU 上与 GPU 上的 CUDA 加速相比都快速的轻量级学习算法
- ECCV基于类别原型的前馈无源领域适应
无源领域适应通过使用预训练模型计算类别原型挑战了基于反向传播的适应需求，并且在准确性上比预训练模型有显著的提升，仅需要现有领域适应方法所需时间的一小部分。
- 从黑盒模型中学习私有模型：引导原始潜变量
该论文提出了一种新的 Back-Propagated Black-Box Adaptation（BPBA）方法，通过该方法用户可以更好地训练其私有模型，从而使得基础 / 源模型的使用更加轻松，并且防止泄露和误用，并提出了一种新的训练策略 B - AAAIWLD-Reg：一种依赖于数据的层内差异性正则化器
本文提出一种基于神经网络的层内反馈机制，通过计算神经元输出之间的相似性来增强每一层内的激活多样性，实验证明这种方法能够提高多种任务下多个最新神经网络模型的性能。
- Batch Normalization 对损失函数的一阶和二阶导数视而不见
本文证明 Batch Normalization 操作对于第一和第二导数的反向传播的影响，并发现了这种问题的原因是 BN 操作的标准化阶段，实验结果验证了理论结论，证明 BN 操作对于特定任务中的特征表示具有显著影响。
- ICLR通过梯度重新加权实现脉冲神经网络的时间高效训练
本文介绍了一种时间效率训练（TET）方法，以解决直接使用代理梯度进行训练的脉冲神经网络（SNNs）普遍存在的推广性差的问题，并且证明了该方法在各种数据集上超过了其他方法，尤其在 DVS-CIFAR10 上达到了 83% 的准确率，优于现有技 - 不要停止训练：持续更新的自监督算法最能解释皮层中的听觉反应
通过对比人工神经网络和发掘上的多次激活，作者发现，self-supervised 的算法比 pre-trained 的算法表现更接近哺乳动物皮层对同样声音刺激的反应，这表明两种方法有共同的学习机制。
- ProbAct: 一种用于深度神经网络的概率激活函数
本文提出了一种概率性的激活函数 ProbAct，通过对输入进行采样，从而使其变为具有随机性的激活函数，进而应用于神经网络中，实验结果表明，与 ReLU 等传统激活函数相比，ProbAct 在分类任务中的准确率提高了 2-3％。
- ICCV通过交替反向传播学习特征对特征的翻译器，用于生成式零样本学习
该论文提出了一种基于生成模型的零样本学习框架，在该框架中采用特征到特征翻译网络和条件生成器，通过交替反向传播学习，进一步提高了在不完整视觉特征条件下的零样本学习性能。
- 卷积神经网络的解耦贪心学习
本文提出了解决反向传播过程中每层必须等待信号传播整个网络才能更新的锁定问题的替代方案 Decoupled Greedy Learning，通过使用最小反馈进行网络训练，并探讨了该方案的优化方法，可以在线性层级并行化的情况下独立地训练网络层或 - 使用近似激活的反向传播进行内存高效网络训练
本文提出了一种新的反向传播实现，通过使用近似来显著减少内存使用，使用相对较低的精度近似，而不影响训练准确性，并展示了其在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上的优异表现。
- ICLR非结构化网格上的球面卷积神经网络
使用参数化的微分算子在非结构化网络上，通过替换传统的卷积核为可学习的加权微分算子，训练出性能优异、参数更少的神经网络，并在计算机视觉和气候科学任务上进行了广泛实验验证。
- ICLR使用直接反馈对齐进行高效的卷积神经网络训练
本文提出了结合 BP 算法的 BDFA 算法，同时提出了反馈权重初始化方法和模式分析技术来维持训练稳定性和最小化计算成本。 实验结果表明，该方法在小数据集环境下表现优异。
- ICLRSNAS：随机神经结构搜索
提出了随机神经架构搜索 (SNAS)，作为一种经济高效的神经架构搜索方案，它在同一次反向传播中训练神经操作参数和架构分布参数，同时保持 NAS 管道的完整性和可区分性。通过对单元搜索空间的联合分布的参数进行优化来重构 NAS，提出一种全新的 - 具有不对称连接和 Hebbian 更新 的深度学习
本论文提出一种使用 Hebbian 更新训练深度网络的方法，反馈权重与前馈权重分离以克服反向传播中不真实的对称性，即使在权重不同的情况下，其性能也与常规反向传播相当，同时提出了一种可以表示为最后一层局部 Hebbian 更新的成本函数。
- 随机加权网络的有趣属性：在几乎没有学习的同时进行泛化
该论文研究深度神经网络的性质和学习方式，发现在深层卷积神经网络中，固定大部分权重可以在性能表现上与训练所有权重相媲美，探讨了该性质在创建更强鲁棒性的表示方面的应用。
- NDT：面向全功能神经图的神经决策树
通过提出的神经图结构来解决在分支条件中只出现变量无法特别更新的问题，并利用 Dirac 符号和连续函数来近似计算条件特定变量的梯度，最终提出了一种使用简化神经网络作为分支条件函数，复杂神经网络作为叶子输出的神经决策树模型，并经过大量实验证实