May, 2024

生成式 AI 投票：公平的集体选择对 LLM 偏见和不一致性具有韧性

PDF
TL;DR通过对超过 50K 个大型语言模型 (GPT 3、GPT 3.5 和 Llama2) 在 81 个现实世界投票选举中的高逼真模拟，我们展示了不同大型语言模型在复杂的偏好选举格式中存在偏见和显著的不一致性，与简单且一致的多数选举相比。公平的投票聚合方法，如均等份额，被证明是双赢的：对人类来说更公平的投票结果与更公平的人工智能代表相结合。这一新颖的潜在关系对于在低投票率和由人工智能代表支持的进步场景中的民主韧性至关重要：通过恢复高度代表性且更为公平的投票结果，可以缓解棄權选民的问题。这些见解为科学家、政策制定者和公民提供了在解释和缓解民主创新中的人工智能风险方面的重要基础。
deliberative and voting participationgenerative artificial intelligencelarge language modelsbiasesfair voting aggregation methods
发现论文，激发创造
  • LLM 投票：人类选择与 AI 集体决策

    通过调查大型语言模型（LLMs），特别是 OpenAI 的 GPT4 和 LLaMA2 的选举行为及其与人类选举模式的一致性，本研究通过人类投票实验和与 LLM 代理人的平行实验，着重研究了集体结果和个人偏好，揭示了人类和 LLMs 在决策和固有偏见方面的差异。我们发现 LLMs 在偏好多样性和一致性之间存在一种权衡，倾向于相对人类选民多样化的选择，这表明在投票辅助中使用 LLMs 可能导致更趋同的集体结果，强调了谨慎将 LLMs 整合到民主进程中的必要性。

    Jan, 2024

  • 公平 LLM 的不可能性

    在 ChatGPT、Gemini 和其他大型语言模型（LLMs）的普适型系统时代，迫切需要公平的人工智能。然而，人工智能与人类交互的复杂性及其社会影响引发了公平标准如何应用的问题。我们回顾了机器学习研究人员用于评估公平性的技术框架，如群体公平性和公平表示，并发现它们在应用于 LLMs 时存在固有的局限性。为了应对这些挑战，我们提出了实现特定应用案例公平性的指南：上下文的重要性，LLMs 开发者的责任以及需求利益相关者在设计和评估过程中的参与。此外，利用 AI 系统的普适能力作为可扩展的 AI 辅助调整方法可能最终可能成为可能，并且甚至是必需的。

    May, 2024

  • 通过群体评议和自我投票改进大型语言模型中的民族代表多样性

    大型生成语言模型的关键挑战是多样性，本文通过提出度量多样性的评估数据集和指标，并应用集体批判和自我投票等方法，有效提高模型对人群和文化的多样性。

    Oct, 2023

  • 大型语言模型作为增强式民主的代理

    通过利用 TensorFlow 生成模型（LLMs）预测个体偏好和整体偏好，我们对 2022 年巴西总统选举期间收集的 67 项政策提案的数据进行训练和测试，发现 LLMs 在个体层面上的预测准确率为 69% 到 76%，并对自由派和大学教育程度较高的参与者有明显的优势；在整体层面上，借助 Borda score 对偏好进行汇总，我们发现通过 LLMs 进行增强的数据能够更好地预测整个参与人群的偏好，尤其是在随机样本仅代表总人口不超过 30% 到 40% 的情况下，这些结果表明 LLMs 在增强民主系统的构建中具有潜在的用途。

    May, 2024

  • 人工智能与人类集体生成的最准确的差异诊断

    基于综合人机智能的混合智能系统在医疗诊断等复杂无结论领域的应用显示出了人类和大型语言模型的协同作用，以提高精确性。

    Jun, 2024

  • 评估大型语言模型中的政治偏见

    我们从德国的角度评估了当前最流行的开源模型在欧洲联盟内涉及政治问题的偏见，发现较大的模型更倾向于与左翼政党相符，而较小的模型通常保持中立，这凸显了 LLM 的细微行为和语言对其政治立场的重要性。我们的发现强调了对 LLMs 进行严格评估和处理社会偏见的重要性，以保障应用现代机器学习方法的应用程序的完整性和公平性。

    May, 2024

  • 利用大型语言模型进行集体决策

    利用大型语言模型 (LLMs) 管理会话和平衡个体偏好，以促进集体决策，并应用于公司会议安排。

    Nov, 2023

  • 我们中的语言生成机器人：生成型人工智能参与数字交流

    在 Mastodon 社交媒体平台上，我们使用了 “LLMs Among Us” 实验框架构建了 10 个角色来研究大型语言模型的潜力和威胁，发现参与者只有 42% 的准确率能识别出其他用户的真实性。此外，我们还发现角色的选择对于人的感知影响比主流大型语言模型的选择更大。

    Feb, 2024

  • 您的大型语言模型暗自支持公平性，您应该像公平支持者一样进行提示

    通过为大型语言模型提供具体角色，我们开发了一个自动生成角色的流程，使得大型语言模型能够表达多元化的观点，从而解决其存在的公平性问题。

    Feb, 2024

  • 少样本公平性：揭示 LLM 对公平感知分类的潜力

    利用大型语言模型（LLM）在各种下游应用中进行分类等工作至关重要，通过公平性可以确保包容性，基于种族、性别等因素实现平等代表和促进负责任的人工智能部署。本研究引入了一个框架来概述与各种公平性定义相一致的公平性规定，每个定义均由不同程度的抽象调控。我们通过在流程中将公平规则纳入，并使用 RAG 选择上下文演示来探索上下文学习的配置和过程。通过与不同 LLM 的实验比较，发现 GPT-4 在准确性和公平性方面的结果都优于其他模型。本研究是利用 LLMs 通过上下文学习实现预测任务公平性的早期尝试之一。

    Feb, 2024