Sep, 2018

将行为约束纳入在线 AI 系统

PDF
TL;DR通过行为约束的观察来学习一组行为约束的新型在线代理，称为 Behavior Constrained Thompson Sampling（BCTS）。我们提供了一个新算法，允许在遵守外生约束条件的情况下进行在线学习。我们的实验表明，这种代理能够在行为约束集合内运行，而不会明显降低其整体奖励性能。
ai systemsbehavioral constraintsonline learningthompson samplingcontextual bandit
发现论文，激发创造
  • 面向会话式 AI 系统的受控自学习的受限策略优化

    本研究提出了一种可扩展的框架处理个别领域的细粒度探索目标，通过用户定义的限制来确保商业关键领域的政策偏差较少，并将更多的探索预算分配到音乐等领域，提出的方法通过一个元目标调整约束违规惩罚项的自适应，鼓励领域间平衡的约束满足，实验结果表明该方法在政策价值和约束满足率之间实现了最佳平衡。

    Sep, 2022

  • 风险感知的神经上下文点臂连续控制

    我们提出了一个风险感知的决策框架，用于处理上下文褒贬问题，并满足实际环境中的约束条件，通过采用一个多批评者的角色体系来平衡约束满足度和性能。

    Dec, 2023

  • 具备辅助安全限制的上下文强盗问题的汤普森抽样

    本文提出了一种新的 Thompson sampling 算法来处理有多个竞争目标和辅助约束的情景下的多结果上下文强化学习问题，并使用贝叶斯优化提供了在实践中导航安全性和性能权衡的方法。

    Nov, 2019

  • 有限认知负荷下的贝叶斯强化学习

    生物和人工智能在决策过程中都受到信息处理能力的限制，因此一般的自适应行为理论应该考虑代理的学习历史、决策和能力约束之间的复杂交互。最近的计算机科学研究开始通过强化学习、贝叶斯决策制定和速率失真理论中的思想来澄清这些动态的形成规律。这项研究成果提出了基于能力限制的贝叶斯强化学习的规范框架，用于模拟处理约束对学习和行动选择的影响。本文对这一领域的最新算法和理论结果进行了简明审视，特别关注如何将这些思想应用于认知和行为科学中的问题。

    May, 2023

  • 基于合作上下文臂银行算法的分布式在线学习

    本文提出了一种新的分布式在线学习框架，将学习者建模为合作的情境赌博机，分析了分布式在线学习算法和完全知识基准的效率，研究表明后者在时间上失误是亚线性的，该理论框架可用于许多实际应用中，包括大数据挖掘、监视传感器网络事件检测和分布式在线推荐系统。

    Aug, 2013

  • 提升 TD3-BC：放松策略约束用于离线学习和稳定的在线微调

    该研究探讨了如何通过 RL 和行为克隆来优化策略以在离线环境下改善性能，并且证明了通过减少 BC 的影响来在训练后调整权衡以产生经过优化的政策是可能的，并且可以用于稳定的在线微调。

    Nov, 2022

  • 教育中的强化学习：多臂赌博机方法

    本研究通过上下文化和模拟累计奖励来解决教育上的干预建议问题，采用强化学习的代理模型结合混合学习方法，景点在线平台的自动化功能

    Nov, 2022

  • 赌博机中渐进式保守探索的算法改进

    本文研究在线学习算法如何在现实应用中优化基线策略并介绍了一种新的基于 Conservative Constrained LinUCB 算法的解决方案，并在多个合成和真实世界的问题中超越了现有的保守乐队算法。

    Feb, 2020

  • 深度贝叶斯多臂赌博机：在线个性化推荐中的探索

    本文提出了一种使用深度贝叶斯 Bandits 算法的广告推荐系统，其包含探索技术和上下文的特征，以解决推荐系统中的反馈循环问题和算法偏差。

    Aug, 2020

  • 在线硬约束多任务学习

    本文探讨了多任务在线学习，当决策者需要同时处理 M 个任务时。M 个任务是相关的，我们给出了此类问题的一个一般可行解，并提供了计算上有效的方法来选择行动，本质上是将其化简为在线最短路径问题。我们还讨论了问题的 “跟踪” 和 “劫掠” 版本，并扩展了模型，包括非可加全局损失和无穷集合的任务。

    Feb, 2009