本研究分析了在线凸优化问题在不同情境下的处理方法,并在具有完全适应性对手的在线线性优化算法为在线凸优化算法提供了一个模板,同时将需要完全信息反馈的算法转换为具有相近遗憾界限的半强盗反馈算法。此外,通过对半强盗反馈中使用确定性算法的完全适应性对手和使用随机算法的毫无意识对手进行比较,我们证明了可以在面对不可避免对手时,设计针对完全适应性对手的算法使用仅具有随机半强盗反馈也能获得类似界限。基于此,我们提出了将一阶算法转换为零阶算法,并具有相近遗憾界限的通用元算法框架。我们的框架允许在不同情境下分析在线优化,如全信息反馈、强盗反馈、随机遗憾、对手遗憾和各类非稳定遗憾。利用我们的分析,我们提供了第一个使用线性优化预言机的无投影在线凸优化算法。
Feb, 2024
本文着重考虑在线学习在对抗性,非凸设置下,通过使用离线优化模型,得到了相对应的在线学习模型和统计学习模型之间的计算等价关系,同时提出了一种应用,将该方法应用于求解包括 GAN(生成对称网络)在内的非凸博弈的均衡解。
Oct, 2018
连续时间模型中,我们提出了在线学习问题的连续时间算法,并给出了最优遗憾界的简明证明。
May, 2024
在线决策问题存在非线性组合目标函数,现有框架局限于子模函数定义域为单位超立方体子集,为克服这一限制,本文引入在线 L 自然凸最小化概念,并提出有效算法以在完全信息和强盗设置下最小化在线 L 自然凸函数,分析算法的遗憾以及演示在线 L 自然凸最小化的实际应用示例。
Apr, 2024
本文提出了基于多层在线集成的在线凸优化方法,具有两种不同的适应性水平,并针对强凸、指数 - 凹和凸损失函数分别获得了收敛等效性和遗憾上界。
Jul, 2023
本文研究将优化视为一种过程,强调学习方法的应用,提倡使用鲁棒性的算法并学习实践经验以应对实际应用中复杂环境下的问题。
Sep, 2019
本文提出了解决约束在线凸优化问题的框架。通过将问题转化为在线凸 - 凹优化问题,提出了一种有效的算法,可以实现收敛性较好的结果。同时,本文还为从中提取多点强化信号的约束在线凸优化问题提供了解决方案。
Nov, 2011
本文讨论了基于梯度的在线学习算法来预测非凸模型序列的结果,提出了一种比标准 regret 更可解释的新定义来评估预测问题的性能并给出了该定义的边界分析。
Nov, 2018
本文分为两部分,第一部分研究了统计学习问题的可学习性和在线学习问题的泛化能力,使用稳定性和经典工具如 Rademacher 复杂度和覆盖数,发现一般学习环境下统一收敛理论无法检测可学习性,第二部分针对凸优化问题提出了适当的镜像下降更新以及 MD 算法在凸优化问题上的可行性研究,证明线性类的 fat-shattering 维度限制了预测问题的 oracle 复杂度。
Apr, 2012
本文提供了一种新的方法,将在线预测算法在线镜像下降推广到具有通用更新的时间变化正则化器,并演示了该方法的强大功能。
Apr, 2013