- 用于自动分析优化算法的大型语言模型
利用大型语言模型（LLMs）在优化算法领域中的潜力，我们将它们集成到 STNWeb 中，通过生成详细的书面报告和自动生成的图表，提升用户体验，减少研究社区对该工具的采用障碍。同时，我们的方法还可以扩展到优化领域的其他工具，展示了 LLMs - 使用梯度下降训练形态神经网络：一些理论洞见
研究了基于差分和反向传播的形态学网络的潜力和限制，尤其是在初始化和学习速率方面的理论指导，以解决当形态学网络层数增加时的训练困难。
- 复杂视觉系统上的多任务学习鲁棒性分析
多任务学习中的问题和挑战，包括优化算法的评估，梯度级别的比较，梯度角度和相对梯度范数的局限性，以及基于特征提取器的潜在空间和特征解缠的训练监测结果。
- AA-DLADMM：一种基于加速 ADMM 的深度神经网络训练框架
提出了一种名为 AA-DLADMM 的算法，它使用了 Anderson 加速以改进 ADMM 优化算法的收敛速度，通过在四个基准数据集上进行广泛实验证明了该算法的有效性和效率。
- 面向可适应优化算法的灵活准确性导向深度学习模块推断延迟预测框架
深度学习模型推理延迟预测的新框架和新方法 MEDN 在综合实验中展现了较高的准确性和 R 方值。
- 机器学习中的非自然算法
自然梯度下降是一种具有鲁棒训练行为的优化算法，与网络重新参数化具有不变性，通过从流形上的微分同胚群到该状态空间的切空间的函子确定优化器的状态空间，这种算法在训练网络时具有更高的效率。
- 多保真度模拟、机器学习和搜索空间缩减策略在高效反设计优化中的应用
该研究介绍了一种方法，通过多精度评估、机器学习模型和优化算法的战略性协同，增强受有限计算资源约束的反向设计优化过程。该方法在两个不同的工程反向设计问题上进行了分析，通过在每个优化循环中利用训练有低精度模拟数据的机器学习模型，高效地预测目标变 - 轻量级人脸识别：改进的 MobileFaceNet 模型
本研究详细探讨和比较了轻量级人脸识别模型，特别关注 MobileFaceNet 及其修改版 MMobileFaceNet。我们研究了数据集选择、模型架构和优化算法对人脸识别模型性能的影响。通过在 EFaR-2023 竞赛中的参与，我们的模型 - 从优化到控制：拟策略迭代
通过将隐含于现有优化算法中的类比隐含为显性，借助统一的解决方案特征化，本文实现了对四个问题类的分析。选择已在现有文献中指出的等效优化和控制算法，并利用特定于 MDP 的两个线性结构约束对优化中的 Hessian 进行线性约束，通过加入两个新 - 深度学习的数学导引：方法、实现和理论
该研究论文介绍了深度学习算法的主题，包括不同的人工神经网络架构、优化算法和理论方面，同时讨论了用于偏微分方程的深度学习逼近方法。
- 基于数据驱动的最佳行走机器人设计推荐框架
通过统计建模和机器学习方法，本文旨在优化医用助行器设计，以达到减轻重量、提高结构稳定性和完整性的目标，并取得了重大突破。
- EMNLPPAC 调谐：基于 PAC 驱动扰动梯度下降的细调预训练语言模型
PAC-tuning 通过两个阶段的微调和噪声注入修改梯度，成功应对了微调任务的挑战，并在 5 个基准测试任务中表现优于强基准方法，从而进一步证实了在目前使用 Adam 优化器进行训练的任何其他设置中应用 PAC 训练的潜力。
- 等变深度权重空间对齐
通过学习解决权重对齐问题的新框架 Deep-Align，该研究提出了深度网络的排列对称性和权重排列两个基本对称性，并在多个网络架构和学习设置上进行了实验，结果显示 Deep-Align 能够产生与当前优化算法相比更好或相等的对齐，并可用作其 - 一种用于实现更快收敛和更陡下降的自动学习率调度算法
通过研究我们发现 delta-bar-delta 算法在神经网络优化过程中存在收敛问题，并提出了一种新方法 RDBD（可悔的 delta-bar-delta）来解决这些问题，并验证了其在小批量优化中克服收敛问题并提高优化算法收敛速度的有效性 - 何时、为何以及何倍？通过优化改进的自适应学习率调度
学习率调度与优化算法的收敛性分析、学习率预热和调度优化方法的研究。
- 流式凸成本的一阶动态优化
本文提出了一组用于解决具有时变流成本函数的一类凸优化问题的新型优化算法，并开发了一种追踪具有有界误差的最优解的方法，与现有结果不同，我们的算法仅使用成本函数的一阶导数，从而使其在处理时变成本优化时具有计算效率，通过解决一个模型预测控制问题作 - 解决联邦学习中一类非凸极小化最大化优化问题
我们研究了一类联邦非凸极小极大优化问题，提出了 FL 算法，并减少了对最常见的极小极大问题的通信复杂度。
- 微电网多目标优化调度的比较研究
本研究通过多目标优化模型探讨微电网的运营和环境成本之间的关系，通过集成遗传算法、模拟退火、蚁群优化和粒子群优化等多种优化算法，提出了一种整合方法进行微电网优化。模拟结果揭示了经济和环境分派下，这些算法提供了不同的调度结果，揭示了柴油发电机和 - 自然启发的进化群体优化算法在生物医学图像和信号处理中的应用 —— 一项系统评述
本文通过回顾 28 篇最新的同行评审相关文章和 26 种自然启发式算法的应用，对其进行归类以帮助读者了解这些算法的可靠性和探索阶段，并讨论了这些算法在生物医学信号处理和生物医学图像处理中的应用。
- Cleanba: 可重复和高效的分布式强化学习平台
分布式深度强化学习是利用更多计算资源以在较短时间内训练自主代理的方法。然而，该研究首次表明即使在控制超参数的情况下，典型的 Actor-Learner 架构仍可能存在可复制性问题。为解决此问题，引入了 Cleanba，这是一个新的开源平台，