- 可扩展的深度学习嵌套优化
梯度下降优化在机器学习的成功中起到了关键作用，本研究论文聚焦于嵌套优化问题，特别是超参数优化和生成对抗网络；然而，在大规模求解嵌套问题时，经典方法往往表现不佳，因此我们针对深度学习环境构建了可扩展的嵌套优化工具。
- Fed-Sophia: 一个高效的二阶联邦学习算法
本文章介绍了一个可扩展的二阶方法 Fed-Sophia，通过结合梯度的加权移动平均和剪切操作来寻找下降方向，并使用海森矩阵对角线的轻量级估计来融入曲率信息。数值评估表明，与一阶和二阶基准相比，所提出的 Fed-Sophia 算法在优越性、鲁 - ICML在黎曼流形上的无学习率随机优化
我们介绍了一种无需调整学习率的创新随机优化算法，用于在 Riemannian 流形上进行优化，消除了手动调整的需求并提供了更稳健和用户友好的方法。通过数值实验证实了我们的方法，表现出与依赖学习率的算法相竞争的性能，并建立了最优的高概率收敛性 - 利用贝叶斯优化进行锂离子电池电化学模型的参数辨识
本研究利用贝叶斯优化方法调整镍锰钴 - 石墨电池的动态参数，对比了梯度下降和粒子群优化方法，结果显示贝叶斯优化方法在平均测试损失上优于梯度下降和粒子群优化方法分别可减少 28.8% 和 5.8%，同时显著降低了测试损失的方差分别为 95.8 - 随机和确定模型中的渐变估计和方差减少
在当今时代，计算机、计算和数据在科学研究和发现中的重要性不断增加。本论文主要关注梯度本身，解决非线性优化问题，并介绍了逆向微分的概念和应用，以及分段连续模型的使用案例。
- IJCAIFedGCS: 通过基于梯度的优化在联邦学习中进行高效客户端选择的生成性框架
FedGCS 是一种创新的生成式客户端选择框架，它通过将客户端选择过程重新定义为生成任务来有效地编码丰富的决策知识，并利用梯度优化在连续表示空间中搜索最佳客户端选择，并通过波束搜索生成最终的最优客户端选择，从而在模型性能、延迟和能源消耗方面 - DMesh: 一种通用网格的可微表示
我们提出了一种可导表示 DMesh，用于一般的三维三角网格。DMesh 考虑了网格的几何和连通性信息。在我们的设计中，我们首先基于加权 Delaunay 三角剖分 (WDT) 获得一组紧凑的凸四面体，并基于 WDT 以可导的方式提出面存在的 - 学习与三维旋转，SO (3) 的自助指南
这篇论文综述了旋转表示的选择问题，阐述了其在深度学习与基于梯度优化的问题中的优劣性，提供了基于输入输出是否包含旋转以及数据是否主要由小角度构成的情况下选择合适表示的指导。
- 基于梯度的计算颗粒晶体设计
基于波动信息处理设备，通过梯度优化设计方法可以扩展多孔材料设计空间并实现机械计算。
- 基于梯度的组成设计高温超导体的高效探索
我们提出了一种基于梯度优化的材料设计方法，通过优化成分克服了传统方法的局限性，优化输入以使模型的输出与目标属性紧密对齐，从而便于发现未列出的材料和精确属性确定，应用于探索高临界温度超导体时，我们确定了超越现有数据库的潜在成分，并通过条件优化 - 释放大语言模型作为启发优化器的潜力：一种与基于梯度的模型优化器的类比分析
自动提示优化是改进大型语言模型性能的重要方法。本文提出了一种新颖的视角，通过与基于梯度的模型优化器进行类比，设计了改进的 LLM-based 提示优化器的策略。实验结果表明 GPO 具有有效性和高效性，并分别相对基准方法在 Big-Benc - ResQuNNs: 促进量子卷积神经网络中的深度学习
在本文中，我们提出了一种新的框架来增强可训练的量子卷积神经网络（QuNNs）的性能，通过引入可训练的 quanvolutional 层并解决与其相关的关键挑战。我们的研究通过在这些层中实现训练，显著提高了 QuNNs 的灵活性和潜力。我们引 - 动态系统中深度神经网络在线自适应的控制理论技术
利用控制论技术，通过在线适应法更新深度神经网络参数，控制域偏移以及解决稳定性和迁移学习问题，提高深度神经网络基于学习的系统的性能和保证。
- 猎豹：高速可微分模拟融合机器学习与粒子加速器物理学之间的鸿沟
Cheetah 是基于 PyTorch 的高速可微线性束线动力学代码，通过多个量级减少计算时间，为加速器调谐和系统识别提供了高效的梯度优化方式，并且可与广泛采用的机器学习工具无缝集成，简化了基于机器学习方法为粒子加速器开发并快速融入日常运营 - 通过高阶导数总结将牛顿法应用于神经网络
本研究论文介绍了一种基于梯度的优化方法，并提出了一个计算上廉价的技术，用于获得有关张量之间交互关系的二阶信息。使用这种技术，构建了适用于各种深度神经网络结构的二阶优化方法，避免了计算 Hessian 矩阵和其近似的复杂性，并改善了现有的对角 - SoftMAC：基于预测接触模型的可微软体仿真与关节刚体和服装的双向耦合
通过可微分物理模拟和基于梯度的优化，SoftMAC 框架结合了软体、关节刚体和服装，有效解决了在机器人操纵中集成多种材料的关键难题，并通过实验证明了其在机器人操纵应用中的有效性和准确性。
- 梯度下降无法学习高频函数和模块算术
通过梯度优化算法训练高频周期函数或模运算存在限制和挑战，即使频率或质数基数 - p 很大时梯度的方差也非常小，从而阻止该学习算法的成功。
- 贝叶斯神经网络后验中的排列对称性：变分视角
通过对近似贝叶斯神经网络（BNNs）的分析，扩展了边界损失和解决方案插值的形式，并提出了一种匹配算法来寻找线性连接的解决方案。实验证明，在各种体系结构和数据集上，线性连接的解决方案几乎没有边界损失。
- 加速概率测度空间的优化
在机器学习应用中，梯度优化方法的加速是一个实际和理论上感兴趣的问题。大多数研究关注欧几里得空间上的优化，但鉴于在许多机器学习问题中需要在概率测度空间上进行优化，研究在这个背景下的加速梯度方法很有意义。为此，我们介绍了与欧几里得空间中基于矩的 - 基于梯度的优化方法和变分不等式在机器学习中的温和介绍
机器学习中的快速进步基于与梯度优化的高效连接，在决策和多智能体问题上的转变为算法设计的新领域提出了新的数学挑战，我们提供了一个更广泛的梯度优化算法框架的简要介绍。