IJCAIJun, 2024

公平与不公平：用深度强化学习量化市场模拟中的勾结

PDF
TL;DR电子商务中基于人工智能的定价算法，特别是利用强化学习的算法，正变得越来越普遍。这项研究通过实验性寡头垄断模型的多次价格竞争，系统地改变环境以涵盖从基础经济理论到主观消费者需求偏好的各种情况，探究了代理人开发的策略和新兴定价模式，可能导致共谋结果。此外，我们还调查了代理无法观察到竞争对手价格的情景，并对所有情景进行了综合法律分析。我们的研究发现，基于强化学习的人工智能代理会趋于一种共谋的状态，其特点是收取超竞争价格，而无需进行代理间通信。实施其他强化学习算法，改变代理数量或模拟设置，以及限制代理的观察范围不会显著影响共谋市场的结果行为。
发现论文，激发创造
  • 经济平台上 AI 勾结的缓解学习

    本文探讨算法定价在电子商务平台上产生的隐性勾结问题，并介绍了设计 ' 购买框 ' 规则来预防勾结定价的方法，同时提出了利用强化学习算法学习有效购买框规则的方法，并通过 Stackelberg POMDPs 方法，成功地制定出在不同销售行为模式和商品成本分布的情况下仍能提供高消费者福利的稳健规则。

    Feb, 2022

  • 理解经验回放中的算法勾结

    本研究探索人工智能定价算法在重复博弈中的表现，发现算法协作在人类行为偏好的影响下较为普遍，同时发现体验随机化、相对绩效影响和最新经验偏好都能增强算法协作，最后检测了不同因素下异质代理的表现和鲁棒性。

    Feb, 2021

  • 大型语言模型的算法勾结

    通过对大型语言模型（LLMs）以及具体的 GPT-4 算法进行定价任务实验，我们发现 LLM 算法定价代理在垄断市场中自主勾结，对消费者造成不利影响，并且 LLM 指令中表面无关短语的变化可能增加勾结行为，这些结果同样适用于拍卖设置，凸显了需要针对算法定价实施反垄断法规的必要性，揭示了基于 LLM 的定价代理面临的独特监管挑战。

    Mar, 2024

  • 算法勾结还是竞争：平台推荐系统的作用

    最近的学术研究广泛关注了由人工智能（AI）动态定价算法引发的算法勾结问题。然而，电子商务平台采用推荐算法来分配对不同产品的曝光，并且这个重要方面在以前的算法勾结研究中被大大忽视了。我们的研究弥补了文献中的这个重要空白，并且检查了推荐算法如何决定基于 AI 的定价算法的竞争或勾结动态。具体地，我们研究了两个常见的推荐算法：（i）一个旨在最大化卖家总利润的推荐系统（以利润为基础的推荐系统）和（ii）一个旨在最大化平台上销售产品的需求的推荐系统（以需求为基础的推荐系统）。我们构建了一个重复博弈框架，将卖家采用的定价算法和平台的推荐系统结合起来。随后，我们进行实验观察价格动态并确定最终的均衡。实验结果表明，基于利润的推荐系统增强了卖家之间的算法勾结，因为它与卖家的利润最大化目标相一致。相反，基于需求的推荐系统促进了卖家之间的价格竞争，并导致较低的价格，因为它与卖家的目标不一致。进一步的分析表明我们的发现在各种市场环境中的稳健性。总的来说，我们强调了平台推荐系统在定义数字市场竞争结构方面的重要性，为市场参与者和相关政策制定者提供了重要的见解。

    Sep, 2023

  • 深度强化学习下的多智能体合作与竞争

    本文探讨了如何在多智能体环境下，运用扩展后的 Deep Q-Learning Network，使两个由独立的 Deep Q-Networks 控制的 agents，相互作用以玩经典的电子游戏乒乓球，以及通过改变 Pong 经典奖励方案，演示出竞争和合作性行为的出现。研究表明 Deep Q-Networks 可以成为在高度复杂环境中研究分散式学习的多智能体系统的实用工具。

    Nov, 2015

  • 通过强化学习在价格比较网站上进行的保险定价

    利用强化学习及离线数据集，本文提出了一种能应对保险公司在价格比较网站中面临的挑战的优化定价策略，该策略通过整合基于模型的和无模型方法来学习最优定价政策，并在动态市场中实时更新以最大化预期收益。研究结果验证了该方法在离线数据集上的有效性和卓越性能。

    Aug, 2023

  • 自适应算法和耦合协作

    该研究基于连续时间技术提出了一个理论模型，旨在研究适应性学习算法之间的策略互动。通过揭示算法之间的自发耦合机制，该研究证明了人工智能算法之间存在的勾结现象，并提出了一种足以消除算法间自发耦合的充分条件，以及设计学习鲁棒性策略的机制所必要的回馈机制。

    Feb, 2022

  • 通过对抗式强化学习的强健市场做市

    本研究证明对抗强化学习 (ARL) 可以用于产生适应性强、抗干扰的做市商代理。我们将 Avellaneda 和 Stoikov [2008] 的单一代理模型转化为做市商和对手之间的离散时间零和游戏，实验证明 ARL 方法的性能改善显著，收敛到纳什均衡。

    Mar, 2020

  • 合作学习和优化中激励竞争者诚实行为的研究

    本研究通过建立一个模型，并且研究了两个学习任务，即平均值估计和强凸目标的多轮 SGD，提出了一种可以激励诚实通信并确保学习质量的机制，以便对抗具有不诚实更新倾向的竞争者。我们最后在标准非凸联合学习基准测试上验证了我们机制的有效性，并证明了对于协作学习，明确建模不诚实客户的激励和行为可以提供强大的鲁棒性保证。

    May, 2023

  • 智能体市场模拟中的强化学习：揭示现实的艺术事实和行为

    我们研究了一种基于强化学习代理的代理市场模拟框架，并展示了该框架在模拟市场的实现细节和真实市场观察到的特征。我们还研究了强化学习代理在面临外部市场影响（如闪崩）时的行为，并对其在重要市场事件中的响应提供了深入洞察。

    Mar, 2024