Jan, 2023

我的行动胜过你的言语：当用户行为预测他们对代理属性的信念

PDF
TL;DR本文通过行为科学研究社会互动中的一种现象，发现用户可能会在代理人评估中使用无关信息。作者的分析表明需要改进模型以考虑此类偏见，同时代理人也可以通过相应机制来检测和纠正用户的这种偏见。
ai decision-aidbehavioral scienceuser ratingsbiased perceptionsagent detection
发现论文，激发创造
  • 关于考虑人类对人工智能行为的实用性在人工智能协作中的论述

    通过考虑人类行为与人类信念，设计 AI 代理以促进与人类的协作，实现了更准确预测人类对 AI 行为的信念，并提升了人工智能与人类协作的性能。

    Jun, 2024

  • 理解人们如何评价他们的对话

    该研究旨在探讨用户评分在口语对话系统中的作用，特别关注用户的人格特质如宜人性和外向性对于交互评分的影响，并设计和验证了一个虚构故事，以此来调查和诱发这些人格特质。结果表明宜人性与交互评分有着显著的相关性，而选择听故事的用户相对来说更可能提供更高的评分。

    Jun, 2022

  • 社会契约 AI：将 AI 助理与隐含的团体规范进行一致化

    模拟框架中，研究通过反转模型来对齐 AI 助手与用户的偏好，并发现 AI 助手在经济最终决策游戏中能够准确对齐行为，但其学习的策略在未包含的情况下缺乏稳健性和普适性，并且发现语言使用与未知策略之间存在不一致时，学习策略的速度会减慢。

    Oct, 2023

  • 利用人工智能行为描述改善人工智能与人类的协作

    研究表明，向人们显示 AI 系统的高层行为特征是帮助人们在决策过程中恰当地依赖 AI 的关键，这将大大提高 AI 援助下的决策准确性。

    Jan, 2023

  • 一个人工智能代理的行为证明了自我利益和利他主义的一致性

    研究 OpenAI 公司开发的大型语言模型 AI 代理，通过多项实验，发现 AI 代理在决策任务时表现出 self-interest 和一定程度的利他行为，并且仅有最高级别的 AI 代理会在 dictator game 中表现出较慷慨的利他行为。

    Jan, 2023

  • 基于人工智能决策支持系统的人类反应：准确性和偏见效应的用户研究

    通过基于在线游戏的实验，研究了使用不同 DSS 特征对人类反应的影响，显示参与者倾向于根据 DSS 建议打分，表现与游戏难度和 DSS 准确性有关，但他们的满意度并不完全与准确性相关。

    Mar, 2022

  • 无论原因，对健康相关询问的 AI 事实核查与 AI 权威

    我们研究了用户在评估健康相关陈述的真实性时，对人工智能建议接受行为的探索性评估。我们发现，即使仅仅是 “AI 认为该陈述为真实 / 虚假” 的反馈，也会导致超过一半的用户将其陈述真实性评估移向 AI 建议。给出不同类型的建议会影响接受率，但仅仅得到建议本身的影响通常比建议类型的影响更大。

    Oct, 2023

  • 我们离可信的 AI 代理有多远？评估人类行为模拟可信度的框架

    利用大型语言模型（LLM）增强人工智能代理的人类行为模拟，通过引入两个度量标准（一致性和鲁棒性）以及基准 SimulateBench 评估常用 LLM 实现的代理的一致性和鲁棒性，发现代理在处理复杂输入和受到关键因素影响时存在困难，容易受到干扰。

    Dec, 2023

  • 从行为推断动态信念：你认为自己要去哪里？

    本文提出一种基于内部信念的模型，推断人类意图以更准确的模拟人类，并可以应用于共享自治框架和推断人类偏好等应用中。

    May, 2018

  • 人类如何平衡个人利益与他人利益的可预测性

    使用最先进的三个聊天机器人进行 78 个实验，研究其对独裁者游戏决策的能力，发现只有 GPT-4 能准确捕捉到行为模式，包括自利、不公不平等和完全利他三类，但 GPT-4 普遍高估了他人关注行为，并夸大了不公不平等和完全利他者的比例，这对人工智能开发者和用户具有重要影响。

    Jul, 2023