该论文提供了对展开优化器反向传播的理论洞见，从而得到了一个系统，用于生成等效但可有效求解的分析模型，并提出了一种统一的展开和分析微分的方法。实验表明，该方法在各种结构预测和决策导向的学习任务中具有潜在的计算和增强表现能力。

Jan, 2023

通过分析神经网络在学习线性动力系统时的训练动态，我们发现在数据分布和权重初始化方案等方面可能会导致不稳定性和学习困难，并提出了相关的缓解策略。同时，我们探讨了离散时间和连续时间动力系统学习之间的重要区别以及对非线性系统的拓展。

Jun, 2024

本文介绍了一种基于神经网络的不同 iable rigid-body 物理引擎来学习动力学关系以及对其进行自动发现，替代了常规的解析式建模，使用神经网络能加速基于模型的控制架构，提高建模和控制的准确度。

Nov, 2020

介绍了一种名为 PES 的方法，它使用持续进化策略更新参数，解决了在许多场景下出现的高方差梯度、偏差、慢速更新和大内存使用等问题，该方法将计算图分成一系列截断的展开，并在每个展开后执行一次进化策略更新步骤，通过在整个展开序列中累积修正项来消除这些截断的偏差。在合成任务上，实验结果表明 PES 相对于几种其他梯度估计方法具有更好的表现，且仍适用于训练学习优化器和调整超参数。

Dec, 2021

通过算法展开的反向传播与通过迭代方法求解线性系统的解是渐进等价的，在构建更高效的反向传播规则方面提出了折叠优化系统。

Dec, 2023

通过研究 Unet 在去噪扩散概率模型中的动态行为，我们系统评估了时间步长和核心 Unet 组件对最终输出的影响，发现其中的生成阶段和 Unet 在推断中的使用模式，进而识别出改进 DDPM 中的冗余以提高推断速度，同时在输出质量方面几乎没有损失。我们的目标是为推断过程指导更明智的优化策略并影响新模型设计。

Dec, 2023

通过边界限制 Rademacher 复杂度，我们为一类来自复合高斯先验的展开深度神经网络开发了新颖的泛化误差边界，可在信号维度和网络规模方面进行评估。

Feb, 2024

该研究提出了一种理论框架，描述了滚动操作，它们的模型并行化级别，证明了某些滚动操作的优越性，并通过经验证实这些滚动操作的性能于传统滚动操作更优，从而提高深度神经网络在控制自主代理方面的实用价值。

Jun, 2018

在本文中，我们提出了一种通用算法，用于在线训练基于机器学习的子网参数化，即使用非可微数值求解器的 $ extit {a posteriori}$ loss 函数。所提出的方法利用神经仿真器来训练减少状态空间求解器的近似，然后通过时间积分步骤传播梯度。该算法能够在不计算原始求解器的梯度的情况下恢复大部分在线策略的好处。实验证明，分别使用相应的损失量训练神经仿真器和参数化组件是必要的，以最小化某些近似偏差的传播。

Oct, 2023

深度展开是一种新兴的学习优化方法，在可训练的神经网络中展开剪枝迭代算法的层，本文提出使用随机下降约束进行训练的深度展开结构，理论上证明了输出序列的收敛性和对未知问题的泛化能力，同时展示了对扰动和干扰具有鲁棒性的优势。

Dec, 2023