通过伪神经切向核代理模型实现深度神经网络的鲁棒性解释
本文旨在解决机器学习中的评估指标通常难以作为损失函数的问题，通过重新审视代理损失学习，并提出了一种基于排名相关性优化的方法来最大化代理损失和度量之间的关系进行代理损失学习。实验证明，该方法在图像分类、神经机器翻译等各种任务上都获得了显着的效率和性能提升，并在人体姿态估计和机器阅读理解任务上优于现有方法。
Feb, 2022
本文提出了对生成解释性数据的surrogate explainers的限制进行修正的方法，基于深度神经网络中的解释性模型，通过使用感知度量并将采样的局部邻域与原始培训数据分布对齐，训练一个局部可解释的模型，以了解模型是如何得出特定预测结果的。
Aug, 2022
介绍了CGX（Column Generation eXplainer），一种基于线性规划的分解方法，可以从深度神经网络的隐藏表示中提取规则，优化任意数量的目标，并满足准确复现、稳定性和复杂度降低等特点，提高了可解释性。
Apr, 2023
研究使用贝叶斯神经网络作为替代标准高斯过程代理模型进行优化，并比较了多种不同的近似推理程序，发现在不同问题中，方法的排名高度依赖于问题本身。其中，在高维问题中，无限宽度的贝叶斯神经网络特别有前途。
May, 2023
我们通过从梯度下降训练的任何有限大小参数化分类模型中推导出的首个完全表示，探索了神经网络和核方法之间的等价性，并将我们的精确表示与著名的神经切向核(NTK)进行比较，并讨论相对于NTK和其他非精确路径核公式的近似误差。我们通过实验证明，该核能够以机器精度计算实现，并利用该精确核展示我们的理论贡献能够为神经网络所作的预测提供有用的洞察，特别是它们的泛化方式。
Aug, 2023
对深度神经网络的特征表示进行理解仍然是可解释人工智能领域中一个开放问题。本研究使用主成分分析（PCA）来研究在CIFAR-10上训练的ResNet-18的逐层学习表示对k最近邻分类器（k-NN）、最近类中心分类器（NCC）和支持向量机的性能的影响。我们发现，在某些层次上，仅需20%的中间特征空间方差即可实现高精度分类，并且在所有层次上，前100个主成分完全决定了k-NN和NCC分类器的性能。我们将研究结果与神经崩溃现象联系起来，并提供了中间神经崩溃相关现象的部分证据。我们的初步工作利用线性仿射模型展示了三个不同但可解释的特征表示的代理模型，其中性能最好的是仿射线性模型。我们还展示了利用几个代理模型来估计DNN中可能开始出现神经崩溃的聪明方法。
Sep, 2023
通过研究神经切线核在代替有限宽度深度神经网络中的性能表现，揭示了核的正则性是性能的关键决定因素，从而提出了一种廉价改进深度神经网络准确性的方法。这一理论框架不仅为使用共轭核代替神经切线核提供了理论基础，而且揭示了不同近似方法的稳健性，为提高深度神经网络的准确性提供了建议。
Oct, 2023
我们解决了将特征归属方法应用于主导自然语言处理等领域的转换器架构的关键挑战。我们形式上证明了一项令人担忧的不兼容性：转换器结构无法与常见的特征归因的代理模型对齐，从而削弱了这些传统解释方法的基础。为了解决这个差异，我们引入了Softmax-Linked Additive Log-Odds Model（SLALOM），这是一种专门与转换器框架对齐的新型代理模型。与现有方法不同，SLALOM证明了能够在合成和真实数据集上提供一系列忠实而深入的解释。通过展示从SLALOM计算得出的多样化的解释在不同任务上优于常见的代理解释，我们强调了需要针对特定任务的特征归属而不是一刀切的方法的重要性。
May, 2024
研究了神经网络训练方法中激活函数导数不可用时的问题，提出了代理梯度学习（SGL）的理论基础，并利用神经切向核（NTK）的推广——代理梯度NTK分析了SGL，通过数值实验验证了SGL在具有有限宽度和符号激活函数的网络中的有效性。
May, 2024