非稳态下学习的稳定性原则

Oct, 2023

A Stability Principle for Learning under Non-Stationarity

Chengpiao Huang, Kaizheng Wang

TL;DR我们在非平稳环境中开发了一个多功能的统计学习框架，应用稳定性原则选择最大化利用历史数据的回溯窗口，并将累积偏差控制在可接受的范围内，以适应未知的非平稳性。通过两个新颖组件：函数相似性度量和数据分割技术，我们的理论展示了这种方法对于未知非平稳性的适应性，当种群损失强凸或仅利普希茨时，遗憾界在对数因子内是极小极限最优的。

Abstract

We develop a versatile framework for statistical learning in non-stationary environments. In each time period, our approach applies a stability principle to select a look-back window that maximizes the utilization of hi

statistical learning non-stationary environments historical data regret bound segmentation technique

发现论文，激发创造

对漂移进行对冲：在非稳态环境下学习优化

介绍针对非静态赌博机环境的最新数据驱动决策算法，采用了随机和对手式学习算法的非传统结合方法，通过滑动窗口 - 置信界算法，针对各种非静态赌博机问题实现了最优动态遗憾边界，并通过数字实验验证了算法的超越性能。

Mar, 2019

非定态随机优化

控制变化预算的非静态顺序随机优化问题，可以实现长期平均最优性和速率最优性。对于这些问题的复杂性，我们建立了在线对抗凸优化和随机逼近范式之间的联系，并给出了最小化后悔的紧密界限，以量化非静态性的代价。

Jul, 2013

非平稳环境下分类问题的自适应迁移学习视角

我们研究了一个具有非平稳标签转移的半监督分类问题，通过观察一组有标签的数据集和一系列无标签的协变量向量，我们的目标是预测每个协变量向量的相应类别标签，而无需观察除初始有标签数据集之外的真实标签。通过建立一个在任何给定测试时间内自适应地适应未知动态边缘标签概率的高概率遗憾上界，我们探索了一种基于统计方法的自适应迁移学习的替代方法，并给出了与在线学习方法相匹配的平均动态遗憾界限的界限。

May, 2024

基于 Wasserstein 的非平稳在线随机优化

本文考虑多重预算约束下的在线随机优化问题，提出了基于 Wasserstein 距离的度量方法来量化先验假设准确性和系统的非平稳性，针对信息已知和信息未知情况下分别提出了算法，均取得了优越的性能表现。

Dec, 2020

非平稳在线学习的高效方法

优化非稳态动态损失和自适应损失的有效方法涉及非稳态在线学习的减少投影和梯度查询次数，在参数自由在线学习的基础上进行了非平凡的改进。

Sep, 2023

学习在非稳态下进行优化

介绍了一种新的非平稳线性随机赌博算法，应用于动态定价和广告分配领域，并使用滑动窗口 UCB 算法实现了最优动态后悔上界。

Oct, 2018

非凸和非光滑问题随机优化的稳定性和泛化

本文针对非凸非光滑问题提出新的算法稳定性度量方法，同时建立它们与梯度之间的量化关系，并使用采样确定算法导出了随机梯度下降算法和其自适应变种的误差界。

Jun, 2022

动态和非平稳环境中的基于核的函数学习

机器学习中一个核心主题是从稀疏和嘈杂的数据中进行函数估计。本文研究了内核岭回归，并推导了在非平稳分布下的收敛条件，同时解决了可能无限次发生的随机调适情况，包括重要的探索 - 开发问题。

Oct, 2023

非渐近性和准确的学习非线性动力系统

研究稳定非线性系统动力学学习问题，使用基于梯度的算法从单个有限轨迹的样本中学习系统动态，特别地，针对 entry-wise 非线性激活函数列出保证，通过数值实验验证了理论公式的正确性。

Feb, 2020

无先验知识的非平稳强化学习：一种最优黑盒方法

本文提出一种黑盒化的方法，将某些强化学习算法在（近）平稳环境下的优化遗憾转化为在非平稳环境下的优化动态遗憾，并且不需要事先了解非平稳度。通过把不同的算法插入到这个黑盒中，我们给出一系列的例子，表明该方法不仅可以重构最近通过特殊算法实现的（上下文）多臂赌博机问题，而且还可以显著改进广义线性赌博机问题、周期性马尔科夫决策问题和无限时间马尔科夫决策问题的状态，特别是在大多数情况下，我们的算法可以达到最优动态遗憾。

Feb, 2021