Nov, 2023

辩论有助于监督不可靠的专家

PDF
TL;DR辩论通过两个不可靠专家的辩论，帮助非专家更可靠地辨别真相，相较于仅由一个专家提供答案的顾问咨询方法在提高了效率的同时，能够显著提升评判的准确性，为监督日益强大但潜在不可靠的 AI 系统提供了有希望的方法。
ai systemsdebateunreliable expertsjudge accuracysupervising ai systems
发现论文，激发创造
  • 人工智能辩论中真相何时受青睐？

    研究人员提出在 AI 解决方案无法得到准确判断的问题中，可通过两个 AI 系统之间的辩论来增强人类法官的问题解决能力，并介绍了一个可建模此类辩论的数学框架，并将辩论设计的质量测量为最有力回答的准确性。

    Nov, 2019

  • 通过辩论实现人工智能安全

    通过采用自我对弈的零和辩论游戏的方式来训练智能体，以此作为人类判断的替代，来实现 AI 系统对于复杂任务的精准输出，并讨论了辩论模型的理论和实践方面的问题。

    May, 2018

  • 与更具说服力的 LLMs 辩论会导致更真实的回答

    大型语言模型的对齐方法主要依赖于人工标注数据，但随着模型的不断发展，人类专业知识将不再足够，将由非专家来监督专家。我们研究了一个类似情景，强大模型（专家）拥有回答问题所需的信息，而弱小模型（非专家）缺乏这些信息。我们发现辩论方法对非专家模型和人类都有帮助，相应的准确率分别为 76% 和 88%（与朴素基准分别为 48% 和 60%）。此外，以无监督方式优化专业辩手的说服力可以提高非专家模型在辩论中识别真相的能力。我们的研究结果为在没有绝对真实性的情况下，通过辩论来对齐模型提供了有益的实证证据。

    Feb, 2024

  • 通过双倍高效辩论实现可扩展的人工智能安全

    通过设计一套新的辩论协议，本文展示了如何解决 AI 安全中的挑战，其中诚实策略能够使用多项式数量的步骤来成功模拟预训练 AI 系统，同时能够验证随机 AI 系统的对齐性，即使不诚实策略允许使用指数数量的模拟步骤。

    Nov, 2023

  • 单轮辩论不能帮助人类回答困难阅读理解问题

    针对当前 QA 系统无法提供合理的解释或证据而生成错误答案的问题，我们提出了一个辩论式的数据集，用于训练模型为两个候选答案提供解释。然而，我们未发现该设置中的解释能够提高人类准确性，但提供人类选择的文本片段则可提高准确度，我们使用这些结论建议未来数据收集工作的改进。

    Apr, 2022

  • 两轮辩论无助于人类回答难度较高的阅读理解问题

    本文研究采用竞争型答案选项辩论的形式帮助人类答题，并考察了增加反驳环节是否对人类有帮助。结果显示，在阅读理解问题的场景下，辩论并不是一种有效的帮助方式。

    Oct, 2022

  • Project Debater APIs: AI 大挑战的分解

    2019 年发布的人工智能系统 Project Debater 能够就复杂主题与人类专家进行辩论，其核心 NLP 服务、论点挖掘分析能力和重要内容摘要等 API 具备良好的性能，其中 Key Point Analysis 更是一项新技术，能识别大量文本中的主要论点及其普遍性。

    Oct, 2021

  • 基于知识图谱的人类可理解事实核查的争论动态

    提出了一种基于辩论动态的知识图谱事实检查新方法，利用强化学习代理抽取路径来论证事实真假，并通过二元分类器判断真假；该方法可解释用户决策，允许用户参与推理和评估辩论，提高各类基于知识图谱的人工智能应用的接受度、效率、稳健性和公正性。

    Jan, 2020

  • 多代理辩论对抗对抗攻击

    通过多代理辩论和嵌入式聚类，我们研究了现代语言模型在对抗性攻击和多代理环境下的表现，并发现多代理辩论可以减少模型的有害性，并改善对不同类型攻击主题的抵抗能力。

    Jan, 2024

  • 无论原因，对健康相关询问的 AI 事实核查与 AI 权威

    我们研究了用户在评估健康相关陈述的真实性时，对人工智能建议接受行为的探索性评估。我们发现，即使仅仅是 “AI 认为该陈述为真实 / 虚假” 的反馈，也会导致超过一半的用户将其陈述真实性评估移向 AI 建议。给出不同类型的建议会影响接受率，但仅仅得到建议本身的影响通常比建议类型的影响更大。

    Oct, 2023