本文提出了一种基于可视化分析的方法，通过理解和比较用于自然语言处理的循环神经网络模型，包括基于各个隐藏状态单元对输入文本的响应和相似性进行 聚类和可视化，以及通过基于聚合信息的图标序列可视化分析 RNN 的隐藏状态的行为，实验结果表明该方法在领域专家的案例研究和评论中具有可用性和有效性。

Oct, 2017

通过将循环神经网络与隐马尔科夫模型相结合，旨在增加其可解释性，发现 LSTM 和 HMM 可以学习互补的文本特征信息。

Jun, 2016

本文提出了一种可解释的神经网络架构，用于 Q-learning，在全局层面上使用键值记忆、注意力和可重构嵌入，提供模型行为的全局解释。使用有向探索策略，该模型可以达到与最先进的深度 Q-learning 模型相当的训练奖励，但结果表明该神经网络提取的特征非常浅，并且使用样本外的示例进行后续测试表明代理可以轻松地过拟合训练期间看到的轨迹。

Sep, 2018

本研究提出了一种可解释的方法，能够可视化神经网络中的内在机制和其对输出的影响，从而提高了深度神经网络的可解释性和决策过程，研究的主要贡献是提出了一种数据集中心的算法，适用于多个领域的深度神经网络结构。

Jun, 2017

通过向最先进的递归神经网络添加预测状态解码器 (PSD) 来结合递归神经网络和预测状态表示法 (PSR) 的优点，从而使其能够更好地进行动态过程的建模和预测，并在三个不同的领域实验中证明了其有效性。

Sep, 2017

为了解决 BERT 模型在 NLP 任务中的解释和可视化问题，本文提出了一种工具 VisBERT，通过可视化 BERT 模型中的上下文令牌表示，观察该模型在每个编码器块中如何转换语义表达，并探索其推理步骤或潜在缺陷。

Nov, 2020

本研究介绍了 Network Dissection 方法，通过为深度视觉表示的单元提供标签来解释网络。该方法量化了 CNN 表示的可解释性，通过评估单个隐藏单元和一组视觉语义概念之间的对齐来识别最佳对齐，认定单位为人类可解释标签。研究发现，深度网络是比预期更加透明和可解释的，并且可用于提供 CNN 对图像的解释预测，以增强其可解释性，这是深度神经网络的重要属性，提供了对其分层结构的新的洞见。

Nov, 2017

本文综述了解神经网络表示和学习可解释 / 解耦的中间层表示的最新研究进展，并重点介绍了卷积神经网络 (CNNs) 的可视化、诊断、解耦、学习及其在可解释人工智能方面的前景趋势。

Feb, 2018

本文介绍了一种名为 “状态再构建” 的方法，旨在解决有限标记数据下现有神经网络方法的脆弱性问题，通过建模隐藏状态的分布并投影测试期间观察到的隐藏状态，从而帮助神经网络更好地泛化，特别是在标记数据稀缺的情况下，并且有助于克服采用对抗训练实现稳健泛化的挑战。

May, 2019

本文介绍了一种利用长短时记忆模型和隐马尔科夫模型相结合的方法来提高循环神经网络的可解释性的途径，并在文本数据和医疗时间序列数据上测试了该算法，发现 LSTM 和 HMM 学习文本特征的信息互为补充。

Nov, 2016