研究机器学习模型可能与标签具有虚假关联的导致测试准确度不高的基本因素，并通过理论研究和实验构建证明，认为数据中虚假相关性引起的几何偏差和统计偏差是两种互补且相对的失败模式。

Oct, 2020

通过自监督方法找到可解释的潜在方向，提出了一种简单的方法来缓解不合适的图像生成。进行了广泛实验证明了缓解方法的有效性，特别是对于公平生成、安全生成和负责任的文本增强生成。

Nov, 2023

我们研究了在训练图像分类模型中提供人类可理解的失败模式描述的挑战。通过研究现有方法的局限性，我们提出了一种新颖的方法，首先从数据集中获取人类可理解的图像概念（标签），然后根据这些标签的组合的存在与否分析模型的行为，以提高对失败模式的识别和生成与之相关的高质量文本描述的能力，这表明在理解模型失败中优先考虑可解释性的重要性。

Sep, 2023

通过使用深度强化学习方法，本研究通过有限的人类反馈探索和构建预训练的辨别模型和生成模型的失败模式，并展示了如何重构这些失败模式以更好地满足需求，从而解决大规模深度神经网络在准确性、社会偏见和与人类价值观的一致性等方面可能出现的问题。

Jun, 2024

我们提出了第一个无监督的基于学习的方法，用于识别预训练扩散模型的可解释方向。通过联合优化移位控制模块和再构造器，模型可以自主发现解耦和可解释的方向。我们还提出了一种基于梯度检查点技术的通用 VRAM 高效训练算法来解决 GPU VRAM 存储问题。与现有的扩散模型相关工作相比，我们的方法具有全局化和可扩展性的优势，不需要任何复杂的额外步骤，并且广泛实验证明了我们方法的有效性。

Oct, 2023

本文提出了一种无监督的方法来确定预先训练 GAN 模型的潜在空间中的可解释方向，从而实现对图像的控制生成，其应用包括弱监督显着性检测等。

Feb, 2020

这项研究通过结合大型语言模型（ChatGPT）和视觉语言深度模型（CLIP），提出了一种利用生成文本描述模型失效模式的端到端框架，以提高对稀有背景等失败情景的性能。通过生成合成数据，以此学习模型的不足，并在不同数据类别的罕见背景上增强性能，该方法在多个模型和数据集上实现了显著的准确度提升（约 21%）。

Dec, 2023

本文介绍并研究了一种方法，旨在通过识别导致模型失败的视觉特征，对学习模型的传统评估方法进行补充，从而更好地表现重要和有益的失败模式。作者进一步提出了一种可视化方法用于帮助人们理解这些特征的含义，并在 ImageNet 数据集上进行了评估，结果表明：这种方法是发现重要的失败模式的有效方法，可视化技术有助于人们理解提取的特征，提取的洞见可以帮助工程师进行错误分析和调试。

Dec, 2020

通过测试不同的数据集和训练方法，我们发现，当生成模型的编码器无法将新颖的组合映射到正确的潜在空间区域时，它们会失败。而当生成模型能够成功时，要么测试条件没有排除足够的样本，要么排除的生成因素能够独立地影响生成图像的不同部分。基于这些结果，我们认为，要想正确地进行推广，生成模型不仅需要捕捉变异因素，而且还需要理解用于生成数据的生成过程的反演方式。

Apr, 2022

本文研究了一种全局化的视觉反事实解释方法，通过发现扩散自动编码器的潜在空间可以编码给定分类器的推理过程，提出一种新的基于代理的方法，以完全黑盒方式推断出两种全局反事实方向（GCDs），并展示了与潜在综合梯度相结合的新的黑盒归因方法，同时加强了对反事实解释的理解。

Apr, 2024