基于神经网络的无梯度拓扑优化
本文研究表明，在神经网络中使用 ReLU 激活函数和随机初始化梯度下降法可以以全局线性收敛率收敛于全局最优解，其分析依赖于神经网络的超参数和随机初始化方式，这些经验也可能有助于分析深度网络等其他一阶方法。
Oct, 2018
本文提出，使用神经网络所引入的函数隐式偏置以改善结构优化的参数化，通过优化神经网络参数来代替在网格上直接优化密度，使得优化结果更为理想，在 116 个结构优化任务中，我们的方法比最佳基线方法更为有效。
Sep, 2019
本研究通过梯度重新参数化的方法设计了 RepOptimizers 优化器，将模型特定的先验知识融入最优化器中。在 VGG 风格的平面模型上的实验表明，使用 RepOptimizers 的简单模型性能不逊于复杂的设计模型，并且具有更快的推理速度和训练效率。
May, 2022
通过将优化器转换为可微分操作的方法，我们提出了一种扩展端到端学习的方法。该方法依赖于随机扰动优化器，并可以与现有求解器一起使用。我们还展示了如何将此框架与结构预测中开发的一系列损失相连接，并为其在学习任务中的使用提供了理论保证。
Feb, 2020
自然梯度下降是一种具有鲁棒训练行为的优化算法，与网络重新参数化具有不变性，通过从流形上的微分同胚群到该状态空间的切空间的函子确定优化器的状态空间，这种算法在训练网络时具有更高的效率。
Dec, 2023
本文介绍了如何通过逆向随机梯度下降的动态过程精确计算出所有超参数的交叉验证性能梯度，并优化上千个超参数，包括学习速率、动量方案、权重初始化分布，多参数正则化方案和神经网络架构。
Feb, 2015
通过使用差分同胚插值法，我们在点云的拓扑优化中克服了梯度稀疏性带来的优化困难，并展示了将拓扑优化应用于黑盒自编码器正则化的相关性及其对模型可解释性的提升。
May, 2024
本文提出了一种名为 “反馈梯度下降（FGD）” 的新方法，该方法基于在 Stiefel 流形的切空间上连续动力系统的 Euler 离散化，同时高效性和稳定性皆优于现有最先进方法，在大量图像分类实验中表现卓越。
May, 2022