- 分布式镜面下降算法用于在线复合优化
本文提出了基于近似镜像下降的一类在线分布式优化算法,以 Bregman 距离为测量函数,包括欧几里得距离作为特例,考虑两种标准信息反馈模型,并通过在线分布式正则化线性回归问题的仿真结果验证了算法的性能。
- 无悔学习中的最后迭代收敛:凸凹景观的约束极小极大优化
本文研究了凸凹零和博弈问题,并提出了一种遵循在线学习框架的近似算法 Optimistic Multiplicative-Weights Update,在本地范围内表现出最后收敛性。
- 现代在线学习简介
本文介绍了在线学习的基本概念和现代在线凸优化的视角,并针对凸丢失,在欧几里得和非欧几里得环境中介绍了一阶和二阶算法。同时,还特别关注了算法参数调优和在无界域上的学习,并介绍了对非凸损失的处理方法和信息缺失的决策问题中的多臂赌博机问题。
- 统一镜像下降和对偶平均
本文介绍并分析了一族新的一阶优化算法,它对镜像下降和对偶平均进行了推广和统一,并定义了新的约束优化算法,结合了镜像下降和对偶平均的优点。我们的初步模拟研究表明,在某些情况下,这些新算法显著优于现有方法。
- 镜像下降视角下的神经网络量化
本研究提出了基于 Mirror Descent 框架的神经网络量化方法,通过引入镜像映射和多重辅助变量能够高效地实现神经网络的量化,并在经典数据集上展示了其比目前先进的性能。
- MMSinkhorn 算法作为随机镜像下降的一种特殊情形
通过将 Kullback-Leibler divergence 应用于 mirror map 和目标函数中,我们发现 Sinkhorn 算法是增量 / 随机镜像下降的一种特例。该发现使我们能够提出一种新方法,扩展了 Sinkhorn 算法超 - 凹函数 $N$ 人博弈中的赌徒学习
研究了非协同凹性博弈中以赌徒反馈为学习手段的长期行为,证明了采用镜像下降算法的不懊悔学习算法在满足标准单调性条件下能以概率 1 收敛于 Nash 均衡,并推导出了其收敛速率的上界。
- 鞍点问题中的乐观镜像下降:额外走 (梯度) 一英里
本文研究了一类具有一致性属性的非单调问题中,优化镜像下降法(OMD)的收敛性和优化方式。分析表明,OMD 可以解决这些问题并推广了先前的结果,为建立凸凹博弈以外的收敛性提供了具体进展。在一系列 GAN 模型上的数值实验结果验证了分析的可行性 - 通过模仿和强化学习实现快速政策学习
本文探讨了一种新的多算法策略,即将多种不同的 RL 和 IL 算法统一到一个 mirror descent 框架下,并提出了名为 LOKI 的基于策略学习的策略,通过 IL 和 RL 的结合可以优于次优专家。
- 镜像 Langevin 动力学
研究了从受限分布中采样的问题,提出了一种统一的框架来导出新的一阶采样方案,并应用于 Dirichlet posteriors 中,证明了第一阶算法实现了收敛性,最后在真实数据集上报告了有希望的实验结果。
- 一阶算法的势函数证明
本文讨论了基于简单潜势函数论证一阶方法的收敛性,其中涵盖了如梯度下降(包括平滑和非平滑设置)、镜像下降和一些加速变体等方法。
- 基于多尺度熵正则化的 k 服务器问题
本文提出了一种基于多尺度熵的在线镜像下降算法,可以在关于 $k$ 的对数平方的竞争比下解决基于分层分离树的 $k$- 服务器问题,并在动态和静态情况下获得较优解。
- 自适应(非)凸优化的模块化分析:乐观主义、复合目标和变分界限
本文通过引入新的后悔分解和 Bregman 散度的泛化来对在线学习的两个算法进行分析,得出了较为简洁的结论,提出了对于复合目标的算法,并提供了一种细化的算法族。
- 引导策略搜索作为近似镜像下降
该论文提出了一种新的指导策略搜索算法,将其解释为镜像下降的近似变体,并提供了改善收敛性的保证。实验结果表明,该算法在机器人导航和操作任务中的表现优于之前的指导策略搜索方法,并且具有更简单的公式和更少的超参数。
- 无尺度在线学习
本文设计并分析了一种不需要任何上限或下限的在线线性优化算法,实现了适应损失向量范数的缩放不变性,并且通过 FTRL 和 MD 元算法实现了最优遗憾,并为无界决策集开发了一种非真空遗憾绑定的自适应算法,并对基于 MD 的无标度算法在无界域上的 - 近似凯拉特多利容度问题的严格界限及其扩展
本文提出了一种快速算法来处理凸多面体中点的问题,并在此基础上对子模函数最小化和 SVM 训练提供了新算法。
- 超出最坏情况的私有经验风险最小化:约束集几何形状的影响
本文介绍了隐私保护数据集下 Empirical Risk Minimization(ERM)的改进算法 —— 不同 ially private ERM Algorithm。该算法通过利用限制条件的几何特性,在 Lipschitz、强凸和光滑 - 线性耦合:梯度下降与镜像下降的终极统一
第一阶段方法在大规模机器学习中扮演了核心作用,在保持渐进进展和提供双重进展的基础上,我们观察到梯度和镜像下降的性能是互补的,因此可以通过将两者进行线性耦合来设计更快速的算法,我们展示了如何使用线性耦合重构 Nesterov 的加速梯度方法, - 镜像下降的信息几何
通过 Bregman 分歧诱导的镜像下降是双重黎曼流形上的自然梯度下降算法,使用对数似然损失的镜像下降在指数族参数估计中渐近地达到了经典的 Cramer-Rao 下限,指数族对应的流形的自然梯度下降可以通过镜像下降实现一阶方法。
- 稀疏 Q 学习和镜像下降
该论文探讨了基于在线凸优化的强化学习的新框架,特别是镜像下降及相关算法,提出了一种新的类似于梯度下降的迭代方法。其中,基于不同 Bregman 散度的抛物线梯度强化学习法比常规 TD 学习更为普适。还提出了一种新型的稀疏镜像下降强化学习方法