自然语言处理深度模型的可解释性研究
研究探讨了提高深度神经网络在自然语言处理(NLP)任务中的可解释性的各种方法,包括机器翻译和情感分析,并对术语 “可解释性” 及其各个方面进行了全面讨论。这项工作列举了与局部解释相关的各种方法,并将其分为三类:1)通过相关的输入特征解释模型的预测;2)通过自然语言解释进行解释;3)探查模型和单词表示的隐藏状态。
Mar, 2021
本文全面调研了针对词嵌入、序列建模、注意力模块、Transformer、BERT 以及文档排名的机器学习和自然语言处理研究的可解释性和解释性方法,最后提出了未来的研究方向。
Dec, 2022
介绍当前自然语言处理中可解释 AI 的现状和对主要解释的分类,探究生成和可视化解释的各种方式和操作,详细介绍了为 NLP 模型预测生成解释的可用操作和可解释性技术,并提出当前领域研究存在的差距和未来方向。
Oct, 2020
解释性在自然语言处理中的必要性随着大型语言模型的突出地位的不断提升而增加。该论文概述了在属性解释性方法的开发和评估过程中出现的 17 个挑战,包括词条化、定义解释相似性、确定词条重要性和预测变化度量、人类干预的水平以及适合的测试数据集的创建。该论文展示了如何将这些挑战交织在一起,并提出了发展概率词级解释性方法以及将人类纳入解释性流程中来得出关于解释性方法的可靠结论的新机会。
May, 2024
本文总结了解释性自然语言处理领域近年来集中收集人类注释的文本解释,将其分为三类 (highlights, free-text, and structured) 并对其注释方法进行整理,提出了现有采集方法的优点和缺点,给出了未来收集数据集的建议。
Feb, 2021
深度学习在医疗保健研究中通过解决各种自然语言处理(NLP)任务得到了极大的增强。本文对可解释和可解释的医疗 NLP 中的深度学习进行了彻底的综述。发现注意力机制是最主要的新兴 IAI,同时也提出了重要的机会,如利用注意力提升个性化医学的多模态 XIAI 并将 DL 与因果推理相结合。
Mar, 2024
本文提出一个可视化分析工具 DeepNLPVis,采用基于互信息的量化方法对深度自然语言处理模型进行统一理解,通过多层次的可视化(语料库级别、样本级别和单词级别)支持从整体到个别的分析,通过两个分类任务的案例研究和模型比较,证明了 DeepNLPVis 能够帮助用户识别潜在问题并做出知情决策。
Jun, 2022
本论文提出了一种简单而通用的自说明深度学习模型的框架,通过添加一个解释层来聚合不同文本段落的信息并赋予权重,不需要额外的诱导模型,可以为高层次的文本单元提供直接的重要性评分,并在 SST-5 和 SNLI 数据集上取得了新的最好表现。
Dec, 2020