本文提出了深度神经网络的统计力学模型，将基于能量的方法和前馈神经网络方法相连接。模型的平均场解给出了一组自然活化函数，包括Sigmoid、tanh、ReLu和Swish，研究表明Swish可以优化网络的性能

May, 2018

本研究提出了基于深度神经网络中复合近端框架的优化方法，该方法利用了深度神经网络的组合性质，并通过设计利用强大的凸优化算法，对于解决高维、非凸和非光滑优化问题提供了一种新的方法。

Nov, 2018

本文提出了一种自适应检查点伴随方法，旨在解决通过神经常微分方程求解器进行反向传播时，由于梯度估计方法不准确导致的错误率高的问题。使用该方法，针对图像分类和时间序列建模任务，半数训练时间内将错误率减半。此外，采用该方法进行训练的神经常微分方程模型在精确性和测试再现性方面均优于 ResNet模型，并可在三体问题的示例中融合物理知识以获得更好的精确性。

Jun, 2020

本研究考虑如何解决一类通用的逆问题，通过使用深度学习等多种方法，通过随机快速生成搜索算法的方式，寻找可能的逆解空间，并通过一个新方法来得到最佳逆解。

Sep, 2020

本研究提出简正了的伴随方法，通过辛积分器求解的伴随方法 获取完全梯度(直到舍入误差)并具有更少的记忆消耗，比其他方法更快且能更好地抑制舍入误差.

Feb, 2021

研究了前馈神经网络的复杂性，通过功能等价的概念来探讨不同的网络参数化可以导致相同的功能，利用排列不变性来推导出前馈神经网络类的新型覆盖数界限，揭示了通过利用这个属性可以降低神经网络的复杂性，此外，通过参数空间的对称结构，证明适当的随机参数初始化策略可以增加优化收敛的概率，同时发现过度参数化的网络更容易训练，在增加神经网络的宽度方面可以导致有效参数空间体积的消失。这些发现为过度参数化提供了新的见解，并对深度学习中的一般化和优化有重要的影响。

May, 2023

使用概率扩散模型自适应定制的新方法AdjointDPM，采用伴随灵敏度方法通过解决带有增广ODE的概率流ODE来进行梯度反向传播，从而实现对模型参数和生成内容的梯度控制，进而在可视效果转换、特定类型风格化和安全审计等任务上展示了AdjointDPM的有效性。

Jul, 2023

通过提出的梯度-free的Coordinate Search (CS)算法，本文介绍了一种适用于神经网络的训练方法，该方法能够应用于非可微激活函数和多目标/多损失问题，并具有较高的收敛速度。

Feb, 2024

通过摄动和算子伴随方法，我们严格地给出了右伴随形式。从推导中我们得到以下结果：1）损失梯度不是一个ODE，而是一个积分，我们展示了原因；2）传统的伴随形式与反向传播结果不等价。3）伴随算子分析表明，只有在离散伴随具有与离散神经ODE相同的方案时，伴随形式才能给出与BP相同的结果。

Feb, 2024

扩散模型的优化和参数的梯度计算是一个复杂而具有挑战性的问题，本文提出了一种基于随机伴随灵敏度方法的新方法，用于计算模型的梯度，并演示了该方法在人脸变形问题上的有效性。

May, 2024