Nov, 2023

线性扰动损失最小化的探索

HTML
PDF
TL;DR使用线性损失扰动（EVILL）引入一种随机探索方法，针对结构化随机赌博问题，通过求解线性扰动正则化负对数似然函数的最小化器来进行探索，从而在理论和实践中证明了EVILL与类似于汤普森采样风格的参数扰动方法的性能相匹配，还介绍了概括线性赌博问题以外的一个示例，表明PERT导致的不一致估计以及线性遗憾，而EVILL仍然表现出色，与PHE相同，EVILL可以用几行代码实现。
发现论文，激发创造
  • 多臂赌博问题的纯探索

    研究随机多臂老虎机问题的性质和限制，探讨具有在线探索特性的预测器的表现，其中简单后悔被评估，讨论简单后悔与累计后悔的关系，在有限臂数的情况下展示了一种性能下限和预测器的上限后悔，并针对连续老虎臂问题进行了研究。

    Feb, 2008

  • 探索不再：非随机赌博机的改进高概率遗憾界限

    本文提出了基于 Implicit eXploration 的损失估计策略，可以在不需要不必要的探索成分的情况下，实现高概率遗憾界，取得了多臂赌博问题方面的改进结果。

    Jun, 2015

  • Thompson采样的先验敏感性

    本文深入分析了Thompson Sampling算法中对先验分布选择的鲁棒性, 发现在选择优先概率质量时, 其遗憾上限与先验正判度呈O(√T/p), 先验负判度呈O(√(1-p)T), 并利用这些性质提出了一种基于鞅理论的新证明方法。

    Jun, 2015

  • 时间敏感型贝叶斯优化多臂赌博机学习

    该文研究了在具有时间偏好的情况下的强化学习中，使用折扣累计损失代替累计损失，使用改进的 Thompson 抽样算法得到较强的解决方案。

    Apr, 2017

  • 结构化随机赌臂问题中的最小探索

    介绍了一类广泛的随机赌博问题，其中将臂与相应的奖励映射的函数具有一些已知的结构特性。推导了这些问题的渐近特定情况下的遗憾下界，并且开发了OSSB算法，其遗憾匹配了这个基本极限。通过数值实验展示了OSSB的效率，并且证明OSSB优于包括汤普森取样在内的现有算法。

    Nov, 2017

  • 随机线性赌博机的扰动历史探索

    提出了一种新的在线算法LinPHE，用于最小化随机线性赌博机中的累积遗憾，该算法通过构建扰动历史来达到目的，并获得了关于线性模型的高性能预测模型，在包括逻辑回归模型的各种场景中都具有可行性。

    Mar, 2019

  • 广义线性臂带问题中的随机探索

    研究广义线性臂选择算法的两种随机算法：GLM-TSL和GLM-FPL，并提供了对它们的$\tilde{O}(d\sqrt{n \log K})$遗憾度性能保证，这两种算法在逻辑回归和神经网络算法中表现出色并明显更快。

    Jun, 2019

  • 线性上下文臂优化中的自适应探索

    我们设计了一种渐近上限最优算法，并充分利用线性结构和精确探索，从而减少了在多种合理情境下的失算，数值结果表明，与其他基准算法相比，我们的方法大大减少了失算。

    Oct, 2019

  • 线性背景和组合行动激励探索

    本文章主要研究了激励式赌博探索中的贝叶斯激励兼容问题，探讨了线性赌博的 Thompson 抽样算法和半赌博模型下的初始数据收集阶段的样本复杂度问题。

    Jun, 2023

  • 随机赌博中的滑动遗憾: 辨别指数与随机策略

    研究单次行为的无悔算法在随机赌博机中的应用，介绍滑动遗憾的概念，并证明随机方法具有最佳的滑动遗憾，而指数策略在索引条件下具有最差的滑动遗憾。

    Nov, 2023