TalkToModel：用自然语言交互对机器学习模型进行解释

MMJul, 2022

TalkToModel：用自然语言交互对机器学习模型进行解释

TalkToModel: Explaining Machine Learning Models with Interactive Natural Language Conversations

Dylan Slack, Satyapriya Krishna, Himabindu Lakkaraju, Sameer Singh

TL;DRTalkToModel 是一个通过对话解释机器学习模型的交互对话系统，包括自然语言界面、对话引擎和执行组件，通过大量的定量和人为评估，在疾病预测任务中，73% 的医护人员同意使用 TalkToModel 系统，85% 的机器学习专业人士认为 TalkToModel 系统更易于使用来计算解释。这个发现表明 TalkToModel 比现有的系统更有效，为实践者引入了一种新的可解释性工具类别。

Abstract

machine learning (ML) models are increasingly used to make critical decisions in real-world applications, yet they have become more complex, making them harder to understand. To this end, researchers have proposed several techniques to explain model predictions. However, practitioners

machine learning model explainability interactive dialogue system natural language interface quantitative and human subject evaluations

发现论文，激发创造

通过对话式解释探索 NLP 模型和数据集的 InterroLang

通过在 NLP 领域中使用具有自由文本理性化功能的对话系统，研究人员对 NLP 任务进行了改进，并通过评估模型性能和用户研究，证明了理性化和特征归因在解释模型行为方面的有效性。

Oct, 2023

重新审视可解释性：从实践者的角度看对话式解释

研究如何让领域专家能够有效地与机器学习模型进行互动和问责，通过自然语言对话的形式提供交互式的解释。

Feb, 2022

神经对话模型

通过序列到序列框架，一种简单的端到端的对话模型方法被提出，在特定的领域和大规模通用领域的数据集上表现出很好的对话效果，并可用于执行常识推理任务。

Jun, 2015

基于交易的对话系统的端到端人类水平表现优化

研究通过数据驱动和端到端的方法，使用 TicketTalk 数据集和基于神经网络的预训练模型构建了一个可以实现近乎人类级别回应质量和 API 调用准确性的交易对话系统，并通过预训练提高了系统的 API 预测和响应生成得分.

Dec, 2020

基于网络的端到端可训练任务导向式对话系统

本文介绍一种基于神经网络的端到端可训练的目标导向对话系统，以及一种新的数据收集方法，该方法基于一种新型的管道式 Wizard-of-Oz 框架。该方法可用于开发对话系统，帮助用户在餐厅搜索领域自然地交流并完成任务。

Apr, 2016

对话学习器 -- 用于构建任务导向对话系统的对话管理器的机器教学工具

该研究论文提出了 Conversation Learner，一种结合了规则导向对话管理和基于机器学习的参数模型的机器教学工具，可以通过利用用户和系统之间的对话日志作为训练数据，帮助对话作者构建灵活应对复杂对话的对话管理器。

Apr, 2020

互动模型卡片：模型文档的以人为中心的方法

通过交互模型卡改进用户体验，为不熟悉自然语言处理或机器学习的用户提供深度学习模型文档的设计指南。

May, 2022

将实时互动会话建模为定时记录的转录

使用预训练的纯文本语言模型，通过建模定时记录的转录文本并使用因果拒绝采样进行解码，我们提出了一种简单但通用的方法来模拟实时互动对话。我们通过两个案例研究（即即时通讯对话和口语交流）展示了该方法的潜力，这些案例研究需要分别以约 30 tok/s 和 20 tok/s 的速率生成文本以保持实时互动。这些功能可以使用相对较少的数据添加到语言模型中，并在商品硬件上运行。

May, 2024

LLMCheckup: 通过可解释性工具对大型语言模型进行对话式检测

通过多种解释工具，包括对话式解释和多提示解析策略，LLMCheckup 提供了一种易于操作的方法，使用户能够与大规模语言模型进行互动，并生成自我解释和意图识别的解释。

Jan, 2024

设计对话式人工智能透明度和控制的仪表盘

通过结合解释性技术和用户体验设计，我们提出了一个端到端原型，旨在提高聊天机器人的透明度，通过检测系统的内部状态，展示与用户的年龄、性别、教育水平和社会经济地位相关的数据，设计了一个实时显示此用户模型的仪表板，并利用该仪表板控制用户模型和系统行为，研究结果表明用户喜欢看到内部状态，其有助于揭示偏见行为并增强他们的控制感，参与者还提出了有价值的建议，指出未来的设计和机器学习研究方向。

Jun, 2024