Jun, 2024

设计对话式人工智能透明度和控制的仪表盘

PDF
TL;DR通过结合解释性技术和用户体验设计，我们提出了一个端到端原型，旨在提高聊天机器人的透明度，通过检测系统的内部状态，展示与用户的年龄、性别、教育水平和社会经济地位相关的数据，设计了一个实时显示此用户模型的仪表板，并利用该仪表板控制用户模型和系统行为，研究结果表明用户喜欢看到内部状态，其有助于揭示偏见行为并增强他们的控制感，参与者还提出了有价值的建议，指出未来的设计和机器学习研究方向。
conversational llmsinterpretability techniquesuser experience designdashboarduser model
发现论文，激发创造
  • 系统模型与用户模型：探索 AI 仪表板设计

    本文主要探讨了基于神经网络的人工智能系统应该包括什么仪表盘，建立了系统模型和用户模型，并提出利用系统模型和用户模型创建并行呈现的对话人工智能系统接口的方法，以提高系统的可用性和安全性。

    May, 2023

  • 对基于 LLM 的对话代理使用者在披露风险和好处上的导航方式进行研究

    建立尊重用户隐私的伦理性大型语言模型对话代理 (LLM-CA) 需要深入了解用户最关心的隐私风险，并解决用户隐私、效用和便利之间的权衡问题。研究发现，用户在使用 LLM-CA 时面临隐私、效用和便利之间的不断选择，但用户对隐私风险的认知受到错误的心理模型和系统设计中的黑暗模式的限制。为了保护 LLM-CA 用户的隐私，我们讨论了实际设计指南和范式转移的需求。

    Sep, 2023

  • 可视化多维数据的对话式人工智能线索

    我们的研究探索了生成式大型语言模型在通过对话界面创建和改进可视化方面的能力，发现生成式语言模型驱动的分析对话机器人在支持渐进式可视化改进方面存在不足。基于这些发现，我们开发了 AI Threads，一个多线程的分析对话机器人，能够主动管理对话上下文并提高其输出的效果。通过众包研究（n=40）和专家分析师的深入访谈（n=10），我们评估了其可用性。我们还在生成式语言模型的训练语料库之外的数据集上展示了 AI Threads 的能力，从而展示了生成式语言模型的潜力，同时也揭示了未来研究的挑战和有成果的方向。

    Nov, 2023

  • LLMs 时代的人类中心研究路线：人工智能透明度

    在大型语言模型与透明度的讨论中，我们必须考虑不同利益相关者在不同情境下的需求，并构建在人们处理、交互和使用信息方面所了解的经验基础上的透明度方法，这是一篇关于应对 LLM 这个新时代带来的人工智能透明度挑战的文章.

    Jun, 2023

  • TalkToModel：用自然语言交互对机器学习模型进行解释

    TalkToModel 是一个通过对话解释机器学习模型的交互对话系统，包括自然语言界面、对话引擎和执行组件，通过大量的定量和人为评估，在疾病预测任务中，73% 的医护人员同意使用 TalkToModel 系统，85% 的机器学习专业人士认为 TalkToModel 系统更易于使用来计算解释。这个发现表明 TalkToModel 比现有的系统更有效，为实践者引入了一种新的可解释性工具类别。

    Jul, 2022

  • 构建对话 AI 的信任度：使用 LLMs 和知识图解进行可解释、注重隐私的系统的综合评估和解决方案架构

    综合审查了 150 多个大型语言模型（LLMs）的深入评估，提出了结合知识图谱的结构化动态与 LLMs 的语言能力的新型功能架构。通过使用真实的人工智能新闻数据进行验证，该架构成功地将语言复杂性与事实严谨性相结合，并通过基于角色的访问控制进一步加强了数据安全性。这项研究洞察了对于高效、透明和值得信赖的系统的迫切需求，突出了会话式人工智能领域的不断演变趋势。

    Aug, 2023

  • 运用大型语言模型强化聊天机器人以搜集用户自报数据

    本研究旨在探讨如何设计自然语言提示以使聊天机器人能够自然地进行对话，从而可靠地收集用户自报数据。通过在线研究（N = 48），我们通过不同的自然语言提示设计和对话主题对聊天机器人进行了评估，并发现提示设计和主题显着影响了对话流程和数据收集表现。

    Jan, 2023

  • 在交互式人机协同 AI 公平性中促进最终用户的参与

    我们探索了一种人机交互界面的设计，使得普通用户可以识别潜在的公平问题并在贷款决策的背景下解决它们，为评判和解决人工智能的公平性做出贡献。

    Apr, 2022

  • 自然语言处理应用描述中的透明度建模

    使用基于神经语言模型的概率度量直接建模公开透明度，证明这些度量与用户和专家对系统透明度的观点相关，并在一些真实的 NLP 系统描述文档中展示这些度量的用途，量化透明度、混淆和用户感知之间的关系。

    Jan, 2021

  • LLMCheckup: 通过可解释性工具对大型语言模型进行对话式检测

    通过多种解释工具，包括对话式解释和多提示解析策略，LLMCheckup 提供了一种易于操作的方法，使用户能够与大规模语言模型进行互动，并生成自我解释和意图识别的解释。

    Jan, 2024