EMNLPOct, 2023

用户对不确定性下人工智能的信任的历时视角

PDF
TL;DR人工智能系统的可靠性和决策呈现方式对用户建立 AI 系统的心理模型至关重要，现代自然语言处理系统常常不可靠，导致系统信任被削弱，研究发现用户对错误和不准确的信心估计会对信任和性能造成损害，并且这种损害缓慢恢复，这些发现凸显了用户面向的人工智能应用中测定是否信任该系统时校准的重要性。
human-ai collaborationreliabilitytrustmiscalibrationcalibration
发现论文，激发创造
  • 未校准的模型可以提高人工智能协作

    通过改变 AI 模型的置信度，可以提高人类利用 AI 辅助决策的准确性和信任度，强调人类与 AI 系统共同优化的重要性。

    Feb, 2022

  • AI-Enabled 系统中用户信任的系统文献综述：以人机交互为视角

    对用户信任、影响因素和测量方法进行的 23 个实证研究的综述确认了定义信任的多种方法和用户特征对 AI 启用系统中的信任产生的影响等主题，从而为未来技术和设计策略、研究和举措提供了洞察。

    Apr, 2023

  • 人工智能的信任：进展、挑战与未来方向

    人工智能在我们的日常生活中越来越广泛地使用，尤其在各种应用、服务和产品中。因此，从用户角度来看，对人工智能的信任或不信任变得非常重要。这篇论文通过系统文献综述，探讨了当前人工智能领域的信任概念，并研究了不同类型的人机交互中的信任以及其对不同领域的技术接受度的影响。此外，还提出了技术和非技术的可信度指标以及一些可信度衡量标准，并分析了一些人工智能中的主要破坏因素和信任建立因素，并为实现可信度从而实现人工智能的可靠过渡提出了一些未来的方向和可能的解决方案。

    Mar, 2024

  • AI 辅助决策中置信度和解释对准确性和信任校准的影响

    研究了基于不同特征的人工智能辅助决策场景下，人类对人工智能的信任度与信任度校正，以及人类与人工智能协同工作的影响因素。结果表明，人类信任度的校正能够通过特定的置信度得到有效提高，尽管人类的专业独特知识对于决策的最终结果有良好的辅助作用，但同时也存在着使用本地解释会出现的问题。因此，我们需要探索新的可信度解释方法来更好地衡量和校正人类对人工智能的信任度。

    Jan, 2020

  • 自信和缺乏自信的 AI 妨碍人工智能合作

    研究人工智能在人类协作中的表现和对人类信任、接受建议以及协作结果的影响，揭示了披露人工智能表达的信心水平和性能反馈有助于更好地识别信心不一致，但参与者往往会因此减少信任，拒绝人工智能建议，导致协作任务表现更差，这为提高人工智能与人类的协作提供了有价值的见解。

    Feb, 2024

  • AI 用户信任话语中的挑战与趋势

    本文旨在阐明人工智能话语中用户信任的一些误解，并打击设计易受攻击的交互所导致的进一步信任违规事件的倾向。发现揭示了理解用户信任及其对计算机科学的影响的缺乏清晰度，特别是在测量用户信任特征方面。文中呼吁澄清这些概念，以避免人工智能采纳和适用中可能出现的信任差距和误解。

    May, 2023

  • 为什么不两者兼顾？在人工智能协作中，通过不确定性来补充解释和自信心的作用

    本研究进行实证研究，以确定不确定性估计和模型解释对用户对模型的信任和理解的影响，探讨如何将自信度纳入分析结果以提高决策求同的准确性。

    Apr, 2023

  • 依赖不可靠之处：语言模型不愿表达不确定性的影响

    AI 与人类交互时，自然语言作为默示接口，需要全面地传达语言模型关于回复的不确定性。研究发现，现有的语言模型在回答问题时无法表达不确定性，导致高错误率。人类在实验中过分依赖于语言模型生成的回复，而且存在对不确定性回复的偏见。因此，该研究提出设计建议和缓解策略，以应对人类与语言模型互动中的新一套安全危害。

    Jan, 2024

  • 人类，人工智能和背景：理解最终用户对于实际计算机视觉应用的信任

    本文通过对一款实际计算机视觉应用进行的定性案例研究，提出了关于信任人工智能的全面而细致的理解。我们发现，领域知识和情境是评估和决策的重要因素，用户普遍认为该应用程序值得信任，但进行了确认行为，对于某些高风险情境，则决定不采用该应用程序。

    May, 2023

  • 为什么您会提出这样的建议？人类对语言模型回答的信任

    通过对开放式新闻标题生成任务中的人类研究和模型评估，我们分析了解释的表达方式和存在对用户信任和模型性能的影响。整体而言，我们提供了证据表明，在用户有机会比较不同的回答时，模型回答中添加解释以证明其推理能显著增加用户对模型的自我报告信任。对这些解释的位置和忠实度也是重要因素。然而，当用户独立地看到回答时，这些增益消失，这表明人类在独立显示时平等地信任所有模型回答，包括欺骗性的回答。我们的发现督促未来的研究更深入地探讨人机合作系统中信任的微妙评估。

    Jun, 2024