Feb, 2024

代理人行动的原因：意图和目标

PDF
TL;DR通过在结构因果影响模型中引入意图的形式定义，我们展示了这个定义捕捉到意图的直观概念，并满足了过去工作设定的期望。此外，我们还展示了我们的定义如何与过去的概念相联系，包括实际因果关系和安全 AI 代理文献中的核心概念 —— 工具性目标。最后，我们演示了如何从行为中推断强化学习代理和语言模型的意图。
intentionaioperationalisestructural causal influence modelsmachine learning systems
发现论文，激发创造
  • 可解释的目标导向智能体和机器人 —— 综合评述

    该文章重点讨论解释目标驱动型智能代理人和机器人的方法，强调透明度、可理解性和持续学习的策略。它提出了可行的目标驱动可解释代理人和机器人的实现路径和要求。

    Apr, 2020

  • 基于论证的方法解释智能体中的目标选择

    本文提出了一种基于论证的方法，用于为可解释的人工智能系统生成关于其行动选择过程的解释，并附加有关冲突解决的信息；我们还应用该方法于清洁工作场景。

    Sep, 2020

  • 意图一致的 AI 系统削弱人类代理能力：AI 安全需要代理基础研究

    为了确保人工智能系统的安全性和长期代理的保留，应该将人工智能系统设计为优先考虑代理的保留而不是人类意图的一致性，并且应该在 “代理基础” 领域进行研究，以改进我们对人工智能与人类交互中代理的理解。

    May, 2023

  • 推断和传达意图：超越数值奖励到逻辑意图

    这篇研究论文探讨了共享意向性在开发具有合作、自我反思、思考和推理能力的有意识的 AI 代理中的关键作用，并将共享意向性的推断作为具有逻辑回报说明的逆强化学习问题来表述。研究表明了该方法如何从演示中推断出任务描述，并将其扩展到主动传达意向性，最后在一个简单的网格世界示例中展示了方法的有效性。

    Jul, 2022

  • 代理人激励：因果视角

    使用因果影响图的框架，提出了代理奖励分析的方法，建立了信息价值的标准并引入价值控制的新图形标准和两个新概念：响应激励和工具控制激励，为这两个新概念提供了完备的图形标准，最终通过例子说明这些结果如何帮助评估 AI 系统的安全性和公正性。

    Feb, 2021

  • AGENT：核心心理推理基准

    通过使用过程生成的三维动画构建了一个基准测试，并通过人类评分验证了该基准测试，结果表明，要在人类水平上通过基础直觉心理学的设计测试，模型必须获得或具有代理计划的内置表示，该测试结构围绕四个场景，并比较了两个强大的基线建立在贝叶斯逆规划和心灵理论神经网络上。

    Feb, 2021

  • 面向人工智能协作任务的具有主动性对话系统

    本研究通过社会认知理论构建了一个特征框架，对代表人类意图、动机、自我效能和自我调节的 Agency 进行了量化和控制，并提供了一个新的数据集，评估当前对话系统中代理能力的发展和潜力。

    May, 2023

  • 分析自主智能体在不确定性下的有意行为

    通过量化有意行为的证据来分析自治代理的行为，该方法适用于动态和不确定环境下区分人为意外和故意行为的问题，并且通过对相关情景的自动生成以提高评估的准确性。

    Jul, 2023

  • 认真采取有意向立场，或者 “意图” 改善认知系统

    通过分析与人类行为相关的心理状态，着重于探讨如何利用这些状态来理解以及推测人工智能认知系统的行为，提出了一些高水平方法论建议。

    Sep, 2022

  • 塑造行为的激励

    形式化了代理随决策而控制的变量及响应的变量的激励机制，并演示了在任何单一决策因果影响图中，检测这些激励机制的独特图形标准；引入了结构因果影响模型，它是影响图和结构因果模型框架的混合体；最后，说明了这些激励机制如何预测公正和人工智能安全应用中的代理激励。

    Jan, 2020