交互式可视化在解释(大型)NLP 模型中的作用:从数据到推理
使用大型语言模型进行自然语言到可视化的转换任务,在分析如何将结构化表格数据转化为 LLM 所需的顺序文本提示时,发现将结构化表格数据转化为程序是有效的,并且在制定提示时考虑表格模式是必要的。同时,通过对比实验发现,LLM 在 NL2Vis 任务中优于基线方法,并且推理模型在提供少量示范的情况下通过上下文学习能够进一步改善性能,时而甚至超过微调模型。最后,分析 LLM 在 NL2Vis 任务中失败的情况,并提出了循环更新的策略,通过链式思维、角色扮演和代码解释等方法来迭代更新结果,实验证实了这种迭代更新的有效性,具有广阔的未来研究潜力。
Apr, 2024
通过在 NLP 领域中使用具有自由文本理性化功能的对话系统,研究人员对 NLP 任务进行了改进,并通过评估模型性能和用户研究,证明了理性化和特征归因在解释模型行为方面的有效性。
Oct, 2023
本研究论文系统地总结了交互模型分析的三大类任务:理解、诊断和改进,旨在帮助用户高效解决实际的人工智能和数据挖掘问题,同时探讨了相关未来研究机会。
Feb, 2017
本文介绍了一种用于视觉数据分析的可解释自然语言接口系统 XNLI,通过引入 Provenance Generator、交互式小部件以及 Hint Generator 等功能,帮助用户定位问题、调整查询并提供解释。用户研究表明,该系统可以显著提高任务准确性,而不会干扰 NLI 分析过程。
Jan, 2023
本文提出一个可视化分析工具 DeepNLPVis,采用基于互信息的量化方法对深度自然语言处理模型进行统一理解,通过多层次的可视化(语料库级别、样本级别和单词级别)支持从整体到个别的分析,通过两个分类任务的案例研究和模型比较,证明了 DeepNLPVis 能够帮助用户识别潜在问题并做出知情决策。
Jun, 2022
研究探讨了提高深度神经网络在自然语言处理(NLP)任务中的可解释性的各种方法,包括机器翻译和情感分析,并对术语 “可解释性” 及其各个方面进行了全面讨论。这项工作列举了与局部解释相关的各种方法,并将其分为三类:1)通过相关的输入特征解释模型的预测;2)通过自然语言解释进行解释;3)探查模型和单词表示的隐藏状态。
Mar, 2021
本篇综述研究了在 NLP 领域中各种 ExplainableAI 方法的模型透明度,解释能力和评估方法,并将其分为三个层面:输入层(词嵌入),处理层(模型内部运算),输出层(模型判定),并提出了未来的研究方向。
Oct, 2022
介绍当前自然语言处理中可解释 AI 的现状和对主要解释的分类,探究生成和可视化解释的各种方式和操作,详细介绍了为 NLP 模型预测生成解释的可用操作和可解释性技术,并提出当前领域研究存在的差距和未来方向。
Oct, 2020