- 自扩展神经网络
我们通过自然梯度的方法，动态地扩展神经网络的宽度和深度，以降低训练过程中的损失。对于不确定合适的网络架构尺寸的问题，我们提出了一种自动收缩神经网络的方法。
- 高效的子采样 Gauss-Newton 和自然梯度方法用于训练神经网络
使用 Levenberg-Marquardt 的 Gauss-Newton 和自然梯度方法，解决深度神经网络大量变量和海量数据集所产生的非凸优化问题，证明方法能够有效实现并提出数值结果。
- ICML加速自然梯度与高阶不变性
本文使用里奥曼几何和数值微分方程的理论研究，探讨了自然梯度算法的基本不变性质在小步长应用场景的问题。我们提出了一种使用高阶积分器和测地线修正的方案以获得更不变的优化轨迹，并在神经网络和强化学习任务中展示了该方案的有效性和计算效率不输自然梯度 - 在线自然梯度作为卡尔曼滤波器
本文证明了卡尔曼滤波算法可以作为自然梯度下降在参数评估上的应用，尤其是在递归学习等应用中。
- 学习大型复杂模型的相对自然梯度
通过提取神经元系统的局部组件，定义相对的费舍尔信息度量并演示了如何利用这一概念进一步改进优化，提高神经网络的学习效果。
- 带随机自然梯度期望传播和后验服务器的分布式贝叶斯学习
本文提出两个方法，一是基于自然梯度的随机变分推断算法，二是一种创新的后验服务器方法，该方法可以实现在分段存储的数据集上进行可扩展和稳健的贝叶斯学习。
- 随机变分推断的平滑梯度
本文介绍了一种改进的随机变分推断方法，其中使用移动平均方法构建代替自然梯度的向量，得到了更高的计算计算效率和更小的误差。测试表明该方法在大规模数据上表现良好。
- 神经网络的黎曼度量 I：前馈网络
本文介绍了四种用于神经网络训练的算法，它们分别适用于不同的可扩展性限制。这些算法基于微分几何的理论，并基于自然梯度使用 Fisher 信息矩阵，或基于 Hessian 方法并缩小尺度以实现可扩展性，同时保持它们的一些关键数学性质。
- 深度网络的自然梯度再探
本文研究了使用自然梯度算法在深度学习中的应用以及其与其他三种方法的联系，并提出了使用未标记数据提高自然梯度算法推广误差鲁棒性的新方法，并将自然梯度算法扩展到包括第二阶信息和流形信息。
- 信息几何优化的目标改进
Information-Geometric Optimization 是一种利用概率分布族和 Fisher metric 来优化适应性函数的方法，透过自适应变换及更新参数来优化目标函数，其适用于不同概率分布族，如 Bernoulli 及 G - CMA-ES 的信息几何学视角下的理论基础
本文从信息几何的角度探讨了协方差矩阵自适应进化策略（CMA-ES）的理论基础，并得出一些关键性的结论，包括 CMA-ES 中抽样分布参数的更新与期望适应性的自然梯度学习等存在密切联系。
- 自然进化策略
本文提出了一种名为自然进化策略（NES）的算法，它是一种比传统进化算法更为规范的黑盒优化方法。NES 在候选解集上维护一个参数化的分布，使用自然梯度来更新分布的参数，以求解更高预期的适应度值。本文介绍了一系列技术，解决了关于收敛、稳健性、样 - 一种用于不可分函数的线性时间自然进化策略
本研究提出了一种新颖的自然进化策略 (R1-NES) 算法，其使用搜索分布协方差矩阵的低秩近似，可以在参数空间线性时间内计算自然梯度，优于传统算法求解高维非可分离问题的能力，在 Rosenbrock 函数 (512 维) 中取得了最好的结果 - 在线独立分量分析的统计动力学
探讨了通过简单的 Hebbian 学习算法分离高维数据集中的非高斯分量的情况，介绍了该算法适用于学习 Stiefel 流形的自然梯度变体，并研究了大输入维度下两种算法的参数轨迹。