契约强化学习：用无形之手牵引力量

Jul, 2024

契约强化学习：用无形之手牵引力量

Contractual Reinforcement Learning: Pulling Arms with Invisible Hands

Jibang Wu, Siyu Chen, Mengdi Wang, Huazheng Wang, Haifeng Xu

TL;DR通过合同设计解决在线学习问题中不同利益相关方的经济利益一致性，提出一种理论框架来解决机器学习中的代理问题，并设计了有效的动态规划算法和无悔学习算法以实现最优合同和平衡探索与开发的挑战。

Abstract

The agency problem emerges in today's large scale machine learning tasks, where the learners are unable to direct content creation or enforce data collection. In this work, we propose a theoretical framework for aligning economic interests of different stakeholders in the online learni

agency problem contract design reinforcement learning payment rules no-regret learning algorithms

发现论文，激发创造

与学习代理人的契约

通过学习代理的重复合同，我们提供了一种动态合同的解决方案，这种合同对于知识有限的主体和代理都有利，并且可以应用于不同的时间范围。

Jan, 2024

学习最优合同：如何利用小的行动空间

研究主体 - 代理问题中的主体为了引导代理采取成本高且不可观察的行动以获得有利结果而承诺一种与结果相关的支付方案，考虑了与代理进行多轮合同承诺的问题的推广，设计了一种算法，在观察到每轮的结果后，能够以高概率学习到近似最优的合同，对于行动空间较小的情景，在最优合同学习方面取得了突破性进展，并在相关在线学习环境下用于最大化主体累积效用以提供近似为 O (T^4/5) 的遗憾上界，从而明显改善了之前已知的遗憾上界。

Sep, 2023

把它写下来：正式合同缓解多智能体强化学习中的社会困境

本文提出一种基于经济学中形式合同思想的多智能体强化学习方法，实现在自私代理中解决个人与群体奖励分歧问题，并通过经验实验得出，该增强方法可使马尔可夫游戏中所有平稳状态达到社会最优行为策略。

Aug, 2022

委派分类

提出了一种激励感知的机器学习任务委托理论框架来防止利益冲突及影响预测性能的问题，并通过学习曲线和标度律构建小规模数据所需的预算最优合约以实现性能和经济成果的综合评估。

Jun, 2023

智能代理和机制学习算法

论文研究强化学习及拍卖设计的优化决策算法，包括最大熵强化学习、基于贝叶斯角度的强化学习、策略学习算法 LEEP、匿名拍卖用于对称性保护的神经网络 EquivariantNet 及用于拍卖学习问题的双人博弈算法 ALGNet。

Oct, 2022

人工智能和双重合同

本研究通过实验研究 AI 算法在双重委托代理问题的双重合同模型中的行为，发现 AI 算法可以自主学会设计可以激励合规的合同，而在合同中，一方可以采取勾结或竞争等多态行为，而且欺骗行为似乎并不存在于制定的合同中。

Mar, 2023

估计和激励带有隐藏回报的不完美知识代理

研究探讨了自私学习代理和学习主体之间的重复逆向选择博弈，代理通过解决多臂赌博机问题来最大化其预期奖励和激励，主体则在保持一致性估计代理的未知奖励与通过提供自适应激励最大化自身效用之间进行权衡。

Aug, 2023

利己还是利他？使用强化学习的不同行为特征代理在合同谈判中的行为

使用多智能体强化学习训练的深度学习代理协商合同协议，建立自私和互惠行为的多样性模型，提供经验证据证明，代理人行为一致，最终训练一个元代理，通过学习混合的行为模型，以确保代理人的实用性，并通过实验验证，发现代理人在谈判中出类拔萃并能够合理模拟人类行为。

Sep, 2018

合作游戏的交互式逆强化学习

该研究探讨了如何设计自主智能体，使其在没有访问联合奖励函数的情况下能够有效地与潜在的次优合作伙伴进行合作。我们将这个问题建模为一个合作的、情节性的两个代理 Markov 决策过程。我们分析了该交互式两个代理场景中关于奖励函数的信息如何被获得，结果显示学习代理的策略对转移函数具有显著影响时，奖励函数可以被高效地学习。

Nov, 2021

有界契约是否可学习和近似最优？

本文研究了基于隐藏行动模型的委托 - 代理问题，在其中委托人通过合同激励代理人参与项目。我们探讨了有界支付的合同是否可学习并近似最优。我们的主要结果是两个学习算法，可以在文献中的两个标准假设下通过多项式数量的查询找到近乎最优的有界合同。我们的多项式查询复杂性上界表明，标准假设足以在一般情况下实现对已知下界的指数改进。与现有算法不同，我们的算法直接学习基础的结果分布。关于有界合同的近似最优性，我们发现它们在乘法或加法逼近方面可能远非最优，但满足混合逼近的概念。

Feb, 2024