我们展示了在大规模训练中，与一阶方法相比，具有更好收敛性质的二阶训练方法很少被使用，可能是由于计算开销过大。然而，我们通过使用适当的硬件设备，证明了某些参数区间内，自然梯度下降（NGD）这种二阶方法在每次迭代中可以具备与一阶方法类似的计算复杂度。我们提出了一种新的混合数字 - 模拟算法用于神经网络训练，该算法在某些参数范围内等效于 NGD，但避免了解线性系统代价昂贵的求解。我们的算法利用了模拟系统在热力学平衡下的性质，因此需要模拟热力学计算机。在混合数字 - 模拟循环中进行训练，梯度和费舍尔信息矩阵（或任何正定曲率矩阵）在给定的时间间隔内计算，同时进行模拟动力学。在分类任务和语言模型微调任务上，我们通过数值实验证明了这种方法相对于最先进的数字一阶和二阶训练方法的优越性。

May, 2024

本文提出了一种名为 AnalogNAS 的自动化 DNN 设计框架，目标是部署在模拟内存计算推理加速器上，通过大量的硬件模拟，展示 AnalogNAS 在各种 TinyML 任务上的性能，以及在 64 核 IMC 芯片上实现的模型较 SOTA 模型具有更高的准确性。

May, 2023

本研究对八种不同的类比深度学习方法在多个关键参数上进行了全面的评估和说明，包括达到的准确性水平、应用领域、算法进步、计算速度以及能量效率和功耗的考虑。我们还通过对不同类比深度学习方法实现的神经网络实验的比较性能和当前限制的分析，发现类比深度学习在未来的消费级应用具有巨大潜力，但在可扩展性方面仍有很长的路要走。大多数当前的实现更多是概念验证，尚不能实际应用于大规模模型。

Jun, 2024

本研究通过非渐进性分析，探讨具有偏倚梯度和自适应步长的随机梯度下降算法，包括时间依赖的偏倚和梯度估计器的均方误差控制，结果表明带偏倚梯度的 Adagrad 和 RMSProp 算法收敛速率与无偏情况下的结果相似，实验结果进一步验证了收敛性，并展示了通过适当的超参数调整可以减少偏倚影响的能力。

Feb, 2024

本文提出了一种新的梯度过滤方法，使用少量的独特元素创建特殊的结构来显著减少反向传播期间的计算复杂度和内存消耗，从而实现了设备端深度学习模型训练，显著提高了速度和节省了能源。

Jan, 2023

该论文介绍了一种新颖的在线推断框架，用于低秩张量学习，其中采用随机梯度下降，在不需要大量内存的情况下实现了高效的实时数据处理，大大降低了计算需求。该方法还提出了一种简单而强大的在线去偏置方法，用于顺序统计推断，从而消除了数据分割或存储历史数据的需求，使其适用于即时假设检验。

Dec, 2023

本文对机器学习应用中广泛使用的随机梯度下降及其变种算法在非凸优化问题中的收敛性做了一系列的理论分析，证明了在弱假设条件下，Delayed AdaGrad with momentum 算法可高概率收敛于全局最优解。

Jul, 2020

本论文主要研究基于非凸贝叶斯学习问题的人工智能、深度神经网络、Langevin Monte Carlo、动态重要性抽样等方面的算法和理论，包括控制变量减少噪声能量估计器方差、基于非可逆性的群链复制交换等算法及解决梯度消失问题的动态重要性抽样等，旨在提高大数据情况下的效率与稳定性。

May, 2023

研究表明，近似计算方法在深度学习中具有巨大潜力，尤其适用于受电源预算限制的便携设备的推理任务，但由于缺乏针对近似计算的训练方法，其潜力尚未得到充分发挥。本文提出了近似硬件训练的方法，并演示了这些方法如何专门针对近似硬件进行训练，并提出了加速训练过程的方法，加速率高达 18 倍。

Apr, 2023

本文研究并发训练中 Stochastic Gradient Descent 算法的收敛性，提出了在异步共享内存模型下的新收敛界限，同时指出了最大延迟和算法收敛速度之间的基本权衡关系。

Mar, 2018