本研究提出了一种理论框架和三种不同技术来提高对解释的稳健性。通过训练方法,激活函数的平滑以及网络 Hessian 的最小化,实现了对提高模型的抗干扰能力。实验结果证实了这些方法的有效性。
Dec, 2020
通过使用深度预测策略训练框架,该研究提出了一种有效的方法来训练预测动作策略,使用合成和模拟训练样本来强制进行视觉和运动数据的抽象,以及使用策略搜索强化学习方法来训练每个任务的策略超层,该框架在 PR2 机器人上训练物体抓取和投球等技能任务,并且训练样本只使用了约 180 次实际机器人尝试,达到了很好的效果。
Mar, 2017
该文提出了一种名为 “可解释的几何深度网络” 的端到端学习方法,用于在高维数据中实现精细的可解释性,例如神经成像和神经科学研究。该方法采用学习解释性因素来增强鉴别性表示提取,以实现可解释的预测和分类结果。
Jan, 2023
该研究旨在解释深度神经网络的行为特性,作者通过使用基于公理的影响测量方法来识别对感兴趣的数量和分布具有高影响力的神经元,并解释这些神经元所代表的概念。通过在 ImageNet 数据集上测试,作者证明了影响导向的解释方法具有将信仰术语的影响概念推广到更多实例的能力,可以提取网络中关于类别的核心信息,可以分离网络用于做出决策和区分相关类别所使用的单个特征。
Feb, 2018
本文提出了一种新型的可解释深度神经网络的解释,通过使用掩蔽权重,可以将隐藏特征分解成几个输入限制的子网络,并训练成专家混合的增强模型,为复杂的机器学习模型提供说明,提高其效率,并实现了对合理解释进行推荐任务。
Aug, 2020
近年来,神经网络展示出了从原始数据中识别复杂模式和关系的卓越能力。然而,理解这些黑盒模型的内部机制仍具挑战性,但对于高风险决策至关重要。我们的研究通过调查解释的基本和分布行为来解决这种困惑。此外,通过全面的模拟研究,我们展示了常见缩放和编码技术对解释质量的影响,评估它们在不同效应大小中的功效,并展示了基于排序的评估指标的不一致性的来源。
Apr, 2024
采用模块化神经网络体系结构,利用合成数据和模拟技术,通过低维潜在表示生成场景可用性,成功训练机械臂政策。同时,提出了一种数据集生成方法,可轻松推广到新任务、对象和环境,无需手动像素标记。
Mar, 2019
本文介绍了一种基于博弈论的归因和 k 阶相互作用方法的统一框架,重点是解释和解释模型的透明性。作者指出,各种方法都基于其在协同方案中的政策,并介绍了基于梯度的独特方法。最后,作者提出了需要深入了解归因和交互方法的目标和上下文。
May, 2023
通过深度学习模型和数据归因方法,在多层网络上训练网络和探针集合,研究了概念形成的可靠性和内部表示中的人类可解释特征。
Oct, 2023
本文研究了深度网络输入特征对预测的影响,提出了敏感性和实现不变性两个公理,并指出大部分已知的边缘归因方法并不满足这两个公理。最后,作者设计了一种不需要修改原始网络的全新边缘归因方法 —— 集成梯度,并将其应用于图像、文本和化学模型中。结果表明,该方法不仅具有调试和提取规则的功能,还能够有效地帮助用户更好地使用模型。