通过解释不变性和等变性评估可解释性方法的鲁棒性

Apr, 2023

通过解释不变性和等变性评估可解释性方法的鲁棒性

Evaluating the Robustness of Interpretability Methods through Explanation Invariance and Equivariance

Jonathan Crabbé, Mihaela van der Schaar

TL;DR通过几何深度学习的形式化方法，本文研究了神经网络的对称群不变性及其对解释性方法的影响，提出了对称性相关的鲁棒性指标和提高对称性相关解释的系统方法，并通过实验给出了 5 个可行的指南以产生稳健的解释。

Abstract

interpretability methods are valuable only if their explanations faithfully describe the explained model. In this work, we consider neural networks whose predictions are invariant under a specific →

interpretability methods neural networks symmetry group explanation invariance robustness

发现论文，激发创造

概率对称和不变神经网络

本研究从概率对称性的角度考虑群不变性，建立功能性和概率对称性之间的联系，并得到了不变或等变于紧致群作用下的概率分布的生成功能表示。此表示完全表征了神经网络的结构，可用于模拟此类分布并提供了一般性的计算程序。

Jan, 2019

神经网络中的不变性学习

该研究提出了一种简单的过程来通过参数化 augmentations 的分布并优化训练损失一起调整网络和 augmentation 参数，从而从大量的 augmentations 中仅使用训练数据恢复图像分类、回归、分割和分子性质预测的正确不变性集和范围。

Oct, 2020

通过测量等变性和等价性来理解图像表示

本文探讨了图像表示的数学属性，如同变性，不变性和等价性等，提出了多种方法来实现这些属性，并应用到流行的表示中来揭示其结构的有益方面。

Nov, 2014

（近似）群等变性下的逼近 - 泛化平衡

通过对对称性的任务特定归纳偏差的明确合并，机器学习模型的高性能设计准则已经出现。

May, 2023

逆问题的等变神经网络

本文介绍一种使用群等变卷积神经网络来解决逆问题的学习重建方法，通过在迭代方法中建立群等变卷积神经网络解决拉伸同变的问题，实现了低剂量计算机断层成像重建和子采样磁共振成像重建的质量提升。

Feb, 2021

对称破缺与等变神经网络

对称性在深度学习中作为归纳偏置已经被证明是一种高效的模型设计方法。然而，在神经网络中对称性与等变性的关系并不总是显而易见。本研究分析了等变函数中出现的一个关键限制：它们无法针对单个数据样本进行对称性打破。为此，我们引入了一种新的 “放松等变性” 的概念来规避这一限制。我们进一步展示了如何将这种放松应用于等变多层感知机（E-MLPs），从而提供了一种与注入噪声方法相对的选择。随后，讨论了对称性打破在物理学、图表示学习、组合优化和等变解码等各个应用领域的相关性。

Dec, 2023

关于可解释性方法的鲁棒性

我们认为解释的稳健性 —— 也就是说，类似的输入应该产生类似的解释 —— 是可解释性的关键因素。我们引入了度量稳健性的指标，并证明了目前的方法在这些指标下表现不佳。最后，我们提出了如何对现有的解释方法强制实施稳健性的方法。

Jun, 2018

等变可操控神经网络：对对称群的特别强调综述

本研究论文探讨卷积神经网络在对称群中的应用，提出了群等变神经网络的概念和架构，以及使用多种层和滤波器的方法，为对称群的表示和胶囊的细节做出了数学分析。

Jan, 2023

物理学的对称群等变架构

本文探讨了在物理学和机器学习领域中，研究对称群等变机器学习结构所带来的深度投资和收益，并讨论了应用这些方法的潜在益处和限制以及对不同物理应用的各种评估指标。

Mar, 2022

使用与滥用等变性

我们研究了群等变卷积神经网络如何使用子采样来打破对其对称性的等变性，并探讨了对网络性能的影响。我们发现，即使输入维度只有一个像素的微小变化，常用的架构也会变得近似等变，而不是完全等变。当训练数据中的对称性与网络的对称性不完全相同时，近似等变网络能够放松其等变性约束，并在常见的基准数据集上与或胜过完全等变网络。

Aug, 2023