- 基于层次贝叶斯的个性化联邦无监督学习
我们开启了对个性化无监督学习的系统研究,通过基于层次贝叶斯统计框架的优化准则,开发了一种自适应算法,在使用有限的本地数据和协作信息之间寻找平衡。我们在个性化降维和个性化扩散模型的背景下开发了我们的自适应算法,并对其进行了收敛性分析,揭示了问 - FedLion: 更快的自适应联邦优化,通信更少
FedLion 是一种自适应联邦优化算法,将 Lion 算法的关键元素无缝地应用于分布式数据训练的 Federated Learning 框架中,通过综合评估表明 FedLion 在自适应算法中胜过现有的最先进算法,并通过使用有符号梯度在本 - 众包自适应调查
该研究介绍了一种众包自适应调查方法(CSAS),结合自然语言处理和自适应算法的进展,生成随用户输入而演变的问题库。该方法将参与者提供的开放性文本转换为李克特式项目,并应用多臂赌博机算法来确定应优先考虑的用户提供的问题。这种自适应方法允许探讨 - 固定预算下的最优臂识别:大偏差视角
通过大偏差原理,我们在适应性算法中建立了样本抽取比例与样本奖励之间的联系,从而改进了现有算法并设计了新算法,我们证明了新算法的性能优于现有算法,包括对众多抽样的广泛实验证实了这一观察结果。
- 自适应近端梯度方法用于凸优化
本文探讨了凸优化中的两个基本一阶算法,梯度下降法(GD)和近端梯度法(ProxGD)。我们着重于通过利用光滑函数的局部曲率信息,使这些算法完全自适应。我们提出了基于观察到的梯度差异的 GD 和 ProxGD 的自适应版本,因此没有额外的计算 - 关于在群检测中检测某些缺陷品的研究
本研究探讨了使用不同的群组检测算法来识别不同数量的不良元素的问题,提出了自适应和非自适应算法的上下界,并讨论了是否有先验知识或估计确切数量的情况下的检测数量的限制。
- 非凸优化中的自适应策略
本论文主要介绍了一些关于自适应算法的研究工作,包括在随机优化、深度神经网络和非凸优化等方面的应用,提出了新算法并进行了理论和实验分析。其中,SignSGD 算法具有很好的理论性质和性能,并能够自适应地适应平滑性条件。
- 交互决策中的实例最优性:走向一个非渐近理论
本研究旨在开发适应性算法,用于互动决策制定,并在实际状况好的实例中适应性地提高性能。研究提出了 Allocation-Estimation Coefficient (AEC) 的复杂度度量,并提出了新的算法 AE2,它控制了 AEC 的速率 - 软动作先验:实现强化学习中的稳健策略转移
通过引入动作先验,结合奖励整形和辅助正则化损失的方法,该论文提出了一种适应性算法,可以高效地利用先验知识,特别是软动作先验,取得了在 Reinforcement Learning 问题上的最新成果和深度 RL 的鲁棒性改进。
- 因果赌博机的组合式纯探索
通过纯探索算法和可适应性算法的结合,在二元广义线性模型和一般图上提出了一种基于关键因果图的因果带博弈问题计算方法。该方法通过最小化采用次数来最大化干预奖励,从而实现了对干预的精确优化。
- 利用 M - 估计器对自适应收集数据进行统计推断
本论文通过理论分析,提出了一种基于 M - 估计量的方法,利用自适应算法(包括习得算法和最大似然算法)处理 bandit 算法采集的数据,进而构建了一种渐进有效的置信区间方法,可用于许多统计推断目标。
- 无模型强化学习中的无限时域平均奖赏马尔可夫决策过程
本文提出两种基于无模型的强化学习算法,用于学习无限时间持续的平均回报 MDP 问题,第一种算法在弱相互通信的 MDPs 中,将问题简化为折扣回报问题,在 T 步之后的遗憾为 O (T^(2/3)), 该算法是解决该问题的第一种无模型的算法; - 在线预测具有总变差界限的序列
本文提出了一种基于 Haar 小波基的在线预测算法,实现了记录总变化量有界序列的最优 O (n^(1/3)) 速率,适应未知平滑参数,并证明了在线梯度下降算法是这种情况下的子优解。
- 具有连续动作的上下文臂机:平滑、缩放和自适应
研究了一个抽象策略类和连续动作空间下的情境赌博学习,得到了与平滑策略类竞争以及要求标准 Lipschitz 条件的两个不同的遗憾界限。同时,我们研究了适应未知平滑参数的问题,建立了可适应性的代价,并推导出需要额外信息的最优自适应算法。
- 一种适应于光滑度和噪声的变分不等式通用算法
该论文提出了一种基于 Mirror-Prox 算法的普适性算法,适用于具有噪声和非噪声数据以及平滑和非平滑函数的情况。算法通过适应性步长的选择来处理相关的约束问题,可以用于解决凸最小化和凸 - 凹鞍点问题等应用。
- ICML在线自适应主成分分析及其扩展
该研究提出了适用于在线主成分分析(PCA)和方差最小化的自适应算法,拥有亚线性自适应遗憾保证并能够适应不断变化的环境。
- 适应性控制和学习的输入扰动
本文研究了多输入多输出线性动态系统的同时调节和估计的自适应算法,提出了基于输入信号扰动的实用、易于实现的控制策略,这些策略表现出随着时间的平方根成比例恶劣后果,并且在时间上均匀保持。进一步讨论了特定的设置,其中这些贪婪策略达到了对数后悔的信 - 重新审视差分隐私线性回归:无界域中的最优自适应预测和估计
本文研究了在差分隐私约束下的线性回归问题,恢复了特征、标签和系数域在优化误差和估计误差中的正确依赖性,并提出了两种简单修改的差分隐私算法:后验采样和充足统计扰动,并展示它们可升级为能针对每个实例利用数据相关量并行为几乎最优的自适应算法。作者 - NIPS自适应 SGD 分布式随机优化
本文提出了一种高效的分布式随机优化方法,通过结合适应性与方差约减技术,从而实现任何串行在线学习算法的并行计算,能够在不需要光滑参数的先验知识的情况下实现最优收敛速率,同时通过 Spark 分布式框架的实现能够对大规模逻辑回归问题进行高效处理 - 在线到线下转化,普适性和自适应小批量大小
本文提出了一种基于离线方法的凸优化方法,通过查询梯度谐和和的方法实现自适应保证,在平滑和非平滑条件下都能实现快速收敛,同时还可以推广到随机梯度下降算法中,提供了一种根据梯度幅值自适应选择 minibatch 大小的方法。