Oct, 2020

在线和分布自由鲁棒性: 带Huber污染的回归和上下文臂

HTML
PDF
TL;DR本文从对抗鲁棒性的角度重新审视了两个经典的高维在线学习问题，即线性回归和情境地图，并探究了无需假设数据分布，直接从全局角度保证它们对抗鲁棒的可行性。具体方法是通过交替最小化策略将普通最小二乘法嵌入到简单的凸约束计算不完整数据下的最优加权分布，并证明该方法在污染程度方面具有最佳的可重复性和完整性。
发现论文，激发创造
  • 多重好处：在线监督学习中的稳健模型选择

    本文提出一种能够在线预测的算法，能够在概率和对抗性设置下与未知复杂度的情境树专家相竞争。通过将结构风险最小化的概率框架纳入现有的自适应算法中，我们不仅可以稳健地学习存在随机结构的同时获得正确的模型阶数，并取得了能够与拥有强侧面信息的最优算法竞争的遗憾边界，从而提供了对模型和随机性同时适应性的第一个具体保证。

    May, 2018

  • 带代理损失的上下文自适应赌博机：边界与高效算法

    本文使用代理损失函数导出了新的后悔界限和新的算法，其中借助于坡道损失函数，我们导出了新的边界界限。同时也根据标准顺序复杂度度量了回归函数的基准类，使用铰链损失函数，导出了一种有效的算法，并且其中包含了一个以$d$维度回归器引出的基准方针。在实现假设下，本研究的结果也可以得出经典的后悔边界。

    Jun, 2018

  • 针对对抗性线性情境赌博机的高效稳健算法

    针对经典$K$-armed线性上下文对抗性问题，我们开发了基于Exp3算法的计算有效算法，其中包含实时算法和鲁棒算法，它们能够实现良好的失望保证，并且对于线性奖励函数而言具有稳健性。

    Feb, 2020

  • 超越ucb: 具有回归预测器的最优和高效上下文臂算法

    本文提出了一种将上下文强化学习转化为在线回归问题的算法；该算法可以在泛型函数类上实现最小化风险，并且与以前的结果相比，它不需要任何分布假设，即使在敌对性上下文的情况下也可以工作。

    Feb, 2020

  • 提高离线情境感知强化学习的分布鲁棒性

    本文扩展了分布鲁棒优化方法，提出了 Counterfactual Risk Minimization 原则的凸重构方法，介绍了通过 DRO 框架构建离线情境强化学习的渐近置信区间，使用了已知的鲁棒估计渐进性结果自动校准置信区间，并呈现了初步实验结果支持我们方法的有效性。

    Nov, 2020

  • 鲁棒随机线性情境臂带在对抗攻击下的应用

    提出了第一个针对全面适应性攻击的稳健性线性上下文bandit算法，其不仅可以抵御回报攻击，还可以抵御袭击环境，提高了对各种流行攻击的稳健性。

    Jun, 2021

  • 高效的一阶上下文臂状多臂老虎机：预测、分配和三角矩阵判别

    本文探讨了如何在low noise的情况下, 通过logarithmic loss和triangular discrimination达到contextual bandits问题中的first-order guarantees，取得了很好的效果和结果

    Jul, 2021

  • 对抗性线性情境赌博机的一阶和二阶边界

    考虑对抗性线性上下文赌博机设置，文中给出了一种新的算法，通过利用与不需要上下文设置的线性赌博机的新联系，利用连续指数权重算法在概率单形上的一个截断版本来获得结果，并证明了其结果优于最坏情况下的后悔，特别的当环境相对温和时，考虑了上下文的密度是对数凹的情况，给出了一种同时优于二阶和一阶损失的方法。

    May, 2023

  • 带预测内容的在线强盗学习

    我们考虑了上下文强盗问题，在每个时间点上，代理只能访问上下文的嘈杂版本和误差方差（或该方差的估计）。我们提出了第一个在线算法，与适当的基准相比，在此设置中具有亚线性遗憾，其关键思想是将经典统计中的测量误差模型延伸到在线决策情境中，这是一个非常复杂的问题，因为策略依赖于嘈杂的上下文观察。

    Jul, 2023

  • 对抗语境强化学习的核化方法

    通过将属于再现核希尔伯特空间的损失函数纳入到对手性线性背景乐队的在线学习问题的研究中，我们提出了一种计算有效的算法，该算法利用一种新的对损失函数进行乐观偏差估计的方法，在对底层内核进行的各种特征值衰减假设下实现接近最佳的后悔保证。

    Oct, 2023