- ICML非凸双层优化的 Moreau 包络:一种单循环且无 Hessian 的解决策略
该研究聚焦于解决大规模非凸双层优化问题中的两个主要挑战,即确保计算效率和提供理论保证,并通过引入一种创新的基于梯度的单循环算法、利用 Moreau 包络重构以及针对一般非凸双层优化问题提供的非渐进收敛分析,同时解决计算和理论挑战。该算法仅依 - 使用异构数据批量进行线性回归
在很多学习应用中,数据来自多个来源,每个来源提供的样本批次本身无法足够学习其中的输入 - 输出关系。本文提出了一种基于梯度的新算法,通过解决多个问题改进了现有结果的适用性,包括允许子群的底层输入分布不同、未知和重尾、复原所有子群以及一个重要 - MaxMin-L2-SVC-NCH:一种训练支持向量分类器并选择模型参数的新方法
本文提出了一种新的支持向量机分类器模型参数选择方法 —— 最小最大 L2-SVC-NCH,并采用基于梯度的算法来解决该方法中的优化问题,与传统的参数选择模型相比,该方法在减少模型训练数量的同时保持了测试准确度。
- 能源感知训练最小化深度学习模型的能耗
通过使用基于梯度下降的算法,利用可微分的近似表示 $l_0$ 范数作为稀疏惩罚减少训练模型过程中的能源消耗和预测延迟,实验结果表明该方法能够在分类表现和能源效率之间达到更好的平衡。
- ICLR具有通用函数类的高效可微形预测
本文提出了一种广义的拟合的预测集来解决多可学习参数,通过考虑找到最有效的预测集的约束经验风险最小化问题,从而实现有效的经验覆盖。同时,本文还开发了一种基于梯度的算法来优化这个 ERM 问题以近似有效的覆盖和最优效率。
- ICML选择性网络线性化用于高效私有推理
提出了一个基于梯度优化的算法,通过 ReLU 感知优化在保证预测准确性的前提下,针对私有推理的瓶颈问题实现了可选择性地进行线性化,实验结果表明,相比现有研究,该算法在提升预测准确率(50K iso-ReLU)上可达到 4.25%,或者在保证 - 协作网络下的强化学习算法
该研究提出了一种基于梯度的算法,用于评估 MDP 中的策略,其跟踪 Projected Bellman Error 并且具有更快的收敛速度,实现于 DQN 和 DDPG 中的比较结果令人满意。
- 基于熵的自适应 Hamiltonian Monte Carlo
本文提出了一种基于梯度的算法,允许通过鼓励 Leapfrog 积分器具有高接受率的方式来适应质量矩阵,最大化建议熵的近似值,实验证明该自适应方法可以通过调整质量矩阵来提高 HMC 的性能。
- 分诊下的可微分学习
本文通过正式表征哪些情况下预测模型可以从算法分流中受益来探讨预测模型与人类专家之间的相互作用,提出了一种确定性阈值规则,介绍了一种可实际应用的基于梯度的算法,并在人工专业及科学发现的数据中进行了实验,论证了该算法提供的模型及分流策略具有优于 - 基于梯度算法的平滑在线凸优化中的预测利用
本研究考虑了具有时变阶段成本和附加切换成本的在线凸优化问题, 提出了一种名为 Receding Horizon Inexact Gradient (RHIG) 的基于梯度的在线算法来改善其性能,该算法只考虑最多 $W$ 步预测,以避免长期预 - ICML神经网络生成对抗模仿学习:全局最优性和收敛速率
本文采用基于梯度的交替更新策略,分析了生成对抗学习在神经网络结构下的全局优化和收敛速率,证明了该方法的全局最优解和收敛性。
- Barker 提案:在基于梯度 MCMC 中实现鲁棒性和效率的结合
本文旨在通过研究马尔可夫链蒙特卡罗采样算法中的调整参数鲁棒性问题,提出一种新的、简单的基于梯度的 MCMC 算法,该算法具有简单算法的鲁棒性和基于梯度的算法的高效性。实验结果表明,该算法在适应性 MCMC 的情境下具有很好的性能。
- ICML基于扩展 PAC-Bayes 理论调整先验知识的元学习
提出了基于一般化误差界的元学习框架,通过构建学习任务的假设分布,并在新任务上使用以经验为依据的先验知识进行学习,我们可以在捕捉学习任务公共结构的同时保证学习者灵活地适应新任务的不同方面,通过深度神经网络的数值实验来证明元学习的基于梯度的算法 - MM反向风险敏感的强化学习
本研究提出了一种基于人类决策模型的梯度下降型反向强化学习算法,用于解决马尔可夫决策过程中有风险感知的智能体反向强化学习问题,并结合两个案例进行了性能展示。