- ICML梯度正则化何时会有害？
本文揭示了梯度正则化（GR）在自适应优化场景中可能导致性能下降的问题，并提出了三种 GR 热身策略来解决这些问题，实验证实这三种策略能够大幅提高模型性能。
- 上下文感知的能效传闻学习方案的编排
通过优化的 Gossip Learning（OGL）实现分布式学习，减少能耗并在动态网络中实现目标准确度。
- 具有参数高效的提示调整和自适应优化的大规模语言模型联合学习
FedPepTAO 是一种参数高效的提示调优方法，采用自适应优化来实现高效且有效的大语言模型的联邦学习，通过改进性能和效率的同时解决设备和服务器端的客户漂移问题。
- 基于本地自适应优化的高效联邦学习与线性加速
通过利用全局梯度下降和本地自适应修正优化器，提出了一种新颖的基于动量的算法来解决分布式学习中的不准确梯度估计以及局部自适应优化器导致的收敛困难和客户端漂移等问题。在理论上，我们在部分参与设置下建立了 FedLADA 的收敛速度与线性加速特性 - ICML双曲表征学习：再探和提高
本文提出了一种名为 “超宾说外显”（HIE）的方法，通过使用节点到原点的超宾距离（即超宾范数）推导出的无成本分层信息来改进现有的超宾表示方法，并在各种模型和不同任务上的广泛实验中展示了该方法的多功能性和适应性。
- 基于影响的图神经网络小批量处理
通过最大化节点对输出的影响分数来理论建模批处理构建，在推理方面 IBMB 加速了最多 130 倍，并且通过使用自适应优化和正确的训练计划 IBMB 还可以加速训练，每个时期快 18 倍，并且与先前方法相比，每个运行时收敛速度最高可达 17 - 突触动力学实现一阶自适应学习和权重对称性
本文尝试回答生物神经系统是否可以采用梯度的一阶自适应优化方法，通过在突触内使用生物合理的机制呈现了 Adam 优化器的实现，提出了一个新的方法应用于生物合理的 Adam 学习规则，这些机制可能有助于阐明生物突触动力学如何促进学习。
- MM可解释的序列优化的动态内存
本论文提出了一种基于自适应贝叶斯学习的代理学习算法来解决强化学习中不稳定情况下的记忆流失问题，并通过统计假设检验实现了可解释性，表现良好。
- HF-NeuS: 使用高频细节改进表面重建
本文提出了 HF-NeuS 方法，在神经渲染中改善了表面重构的质量，首先通过建立透明度函数与 SDF 的关系，将透明度作为变换后的 SDF 来建模，并采用粗到细的策略将 SDF 分解成基函数与偏移函数，最后设计了自适应优化策略，使得训练过程 - ICML带辅助信息的私有自适应优化
AdaDPS 是一种通用的框架，使用非敏感侧面信息对梯度进行预处理，可以在私有环境中有效地使用自适应方法，降低噪音所需的数量，从而改善优化性能。在大规模文本和图像基准测试中，相对于强基线，AdaDPS 平均提高了 7.7％（绝对）的准确度， - ICML面向噪声自适应、问题自适应（加速）随机梯度下降
通过利用指数步长和随机线性搜索等技术，使得随机梯度下降算法适应不同噪声水平和问题相关的常数，可以在强凸函数的条件下，取得与理论最优相近的收敛速度，同时能够有效地处理噪声和数据不凸的情况。
- 联邦学习中的本地适应性：收敛和一致性
本文探讨在联邦学习中使用自适应优化方法对于本地更新的影响，指出自适应优化方法虽然可以加速模型收敛，但可能导致解决方案出现偏差，为此提出了纠正技术以克服这种不一致性，并在现实联合训练任务上进行了广泛实验，结果表明与没有局部自适应性的基线相比， - 光滑凸优化自适应催化剂
本文提出了一个通用框架，允许加速几乎任意非加速确定性和随机算法用于光滑凸优化问题，其中通过使用加速的近端外梯度方法作为非加速内方法的包络来实现。该算法有两个关键不同之处：容易验证的内部算法停止标准和学习率的可调节性，使得此工作的主要贡献是适 - ICML黑盒函数的逐步优化
本论文提出了一种新的方法，利用估计梯度来逐渐自适应地优化机器学习中的未知函数，并验证了该方法在低维和高维问题上的实验性能，证明了在调整高维超参数时我们的方法的优越性。
- ICCV通用可变宽度网络和改进的训练技术
该论文提出了一种名为 “通用可变宽度神经网络” 的系统方法，将可变宽度神经网络扩展到任意宽度，提出了两种改进的训练技术，能够提高训练过程和测试准确性；作者在 ImageNet 分类任务、图像超分辨率和深度强化学习任务上评估了其方法，证明其有 - ICLR具有动态学习率上界的自适应梯度方法
本文提出了 AdaBound 和 AMSBound 两种新型变体算法，通过采用动态的学习率边界来实现自适应方法与 SGD 方法之间的平稳过渡，证明了它们的收敛性，并在各种任务和模型上进行了充分的实验，结果表明这两种方法可以消除自适应方法与 - MM采用汤普森抽样的自适应灰盒模糊测试
本文提出了一种机器学习方法，通过自适应地学习程序特定的突变算子概率分布，从而提高灰盒 fuzzer 的性能；同时，介绍了一种基于 Thompson 抽样和赌博算法的优化方法，在不同程序中生成更高代码覆盖率和更快捷、更可靠的崩溃集。
- NIPS有限预算下点子模函数的自适应最大化
研究了具有预算约束的最坏情况自适应优化问题，证明了具有点位置次模性和点位置成本敏感次模性的效用函数的两个简单贪心算法不是近似最优的，但其中最优的贪心算法是近似最优的，可以用于解决有限预算下的主动学习问题。