运用社会选择理论评估代理人

Dec, 2023

Evaluating Agents using Social Choice Theory

Marc Lanctot, Kate Larson, Yoram Bachrach, Luke Marris, Zun Li...

TL;DR通过将任务视为单独的投票者，使用序数排名或成对比较来产生整体评估，我们认为许多一般的评估问题都可以通过投票理论来解决。通过将聚合器视为社会福利函数，我们能够利用社会选择理论的数百年研究成果，得出具有公理基础的原则性评估框架。我们应用这种 “作为评估的投票”（VasE）框架在多个设置中，包括强化学习、大规模语言模型和人类。实践中，我们观察到 VasE 比流行的评估框架（Elo 和 Nash 平均）更稳健，在评估数据中发现仅通过分数无法明确的属性，以及在复杂的七人游戏中比 Elo 更好地预测结果。我们确定了一个特定的方法 —— 最大彩票，它满足与评估相关的重要一致性属性，计算效率高（与评估数据的规模多项式相关），并且识别出博弈理论循环。

Abstract

We argue that many general evaluation problems can be viewed through the lens of voting theory. Each task is interpreted as a separate voter, which requires only ordinal rankings or pairwise comparisons of agents to produce an overall evaluation. By viewing the aggregator as a social w

voting theory social choice theory voting-as-evaluation (vase)evaluation frameworks maximal lotteries

发现论文，激发创造

投票与排序：基于社会选择理论的基准评估修订

该论文提出了 Vote'n'Rank 框架用于在多任务基准测试中排名系统，并通过该方法在不同领域中比较多个系统的表现，从而得出结论和新的 insights。

Oct, 2022

社会选择的统计决策理论框架

本文从统计决策论的视角出发，提出了基于决策规则的社会选择机制，比较了 Bayesian 估计器、Mallows 模型、Condorcet 模型和 Kemeny 规则等各种类型的机制，并探讨了其规范性能、计算复杂度和渐近行为等方面的性质。其中，对于 Condorcet 模型，本文证明了 Bayesian 估计器满足匿名性、中立性和单调性等期望性能，能够在多项式时间内计算，并在一定条件下与其他两种决策规则渐近不同。

Oct, 2014

迭代投票的平均情况分析

迭代投票是社会选择中的重复战略决策的自然模型，本文通过分析不同分布情况下的平均情况，区分了迭代多数表决对渐近福利的改善还是恶化。

Feb, 2024

一致性概率社会选择

在社会选择理论中，通过概率社会选择，几种基本公理可以唯一地描述由 Fishburn 提出的函数，该函数返回最大彩票，即对应于底层多数游戏的最佳混合策略的彩票，这些最大彩票由于 von Neumann 的 minimax 定理保证存在，几乎总是唯一的，并可以使用线性规划有效地计算。

Feb, 2015

重新评估评估

本文介绍了一种叫作 Nash 平均的评估方法，能够自动适应评估数据中的冗余信息，从而避免了采用简单任务或弱智能体造成的结果偏差，实现了最大程度的评估包容性。

Jun, 2018

通过赞成投票追踪真相：大小至关重要

研究了通过批准投票模型检测潜在事实的方法，包括概率模型，权重批准规则和 Condorcet 噪声模型等，实验证明 Condorcet 噪声模型是最有效的。