从连续视角看机器学习
通过运用数值分析理论建立的收敛性测试方法，验证机器学习模型是否准确地学习了某个系统本质的连续动力学过程，成功的模型能够更好地插值和外推，为科学预测提供更精确的数学手段。
Feb, 2022
通过随机梯度下降和先进的基于随机梯度下降的算法找到人工神经网络的适当参数，优化算法在目标函数的某种噪声区域内倾向于选择 “平坦” 最小值，这一趋势与连续时间 SGD 与均匀噪声的选择是不同的。
Jun, 2021
本文通过差分方程和随机微积分的连续时间分析视角，研究离散时间问题，提出了一个连续时间、无需参数算法，并开发了一个类似的离散算法，最后提出了一个任意时间的算法以应对最难情况，并给出了一些令人满意的实验证据。
Jun, 2022
本文探讨了机器学习中的持续学习范式，并提出了一种基于特征提取的持续学习框架，通过特征和分类器在每个环境中的联合训练，设计了一种高效的梯度算法 DPGD，并证明了该算法能够在当前环境下表现良好，同时避免灾难性遗忘，但在特征是非线性的情况下，并不存在这样一种算法。
Mar, 2022
研究了梯度下降法与梯度流动在深度学习中的关系，发现深度神经网络上的梯度流动轨迹存在良好曲率，能够很好地近似梯度下降法。理论和实验结果表明，梯度下降法具有较高的计算效率和全局最小解收敛保证。
Jul, 2021
本文提出了一种将算法组件集成到端到端可训练的神经网络体系结构中的方法，通过条件语句、循环和索引来松弛离散条件，获得连续可微的算法。结果表明，所提出的连续松弛模型可以应用于多种任务。
Oct, 2021
这篇论文介绍了一种新的 Bayesian 衍生连续学习损失函数，该函数不仅仅依赖于早期任务的后验分布，而是通过改变似然项自适应地调整模型，并将先验和似然项结合在一个框架下。
Feb, 2019
本文提出变分连续学习 (Variational Continual Learning，VCL) 框架，它将在线变分推理 (Online Variational Inference, VI) 和神经网络中的蒙特卡罗变分推理 (Monte Carlo VI) 相融合，成功地在任务时序不断演变、全新任务涌现等复杂连续学习情景下对深度判别模型和生成模型进行建模并避免灾难性遗忘的发生。实验结果表明，在多种任务上，VCL 优于现有的连续学习方法。
Oct, 2017
基于运算器学习的最近进展，本文提出了一种连续时空数据驱动建模框架，并通过三个数值实例研究了该框架的性能，结果证实了该建模框架的分辨率不变性，并展示了仅使用短期时间序列数据进行稳定长期模拟的能力，此外，也表明了通过混合优化方案，结合短期和长期数据，提出的模型能更好地预测长期统计数据。
Nov, 2023