通过解缠局部解释精细解释多模型

Mar, 2022

通过解缠局部解释精细解释多模型

DIME: Fine-grained Interpretations of Multimodal Models via Disentangled Local Explanations

Yiwei Lyu, Paul Pu Liang, Zihao Deng, Ruslan Salakhutdinov, Louis-Philippe Morency

TL;DR本篇论文致力于提高解释多模态模型的技术现状。该文中提出的 DIME 方法通过模型解离为单模态贡献和多模态交互来帮助用户更好地理解模型行为，实现了对任意模态、模型架构和任务的普遍解释。经过全面的实验验证，DIME 产生了准确的解释，可以帮助用户更深入地理解模型行为，并为实际部署提供了一步调试和改进。

Abstract

The ability for a human to understand an Artificial Intelligence (AI) model's decision-making process is critical in enabling stakeholders to visualize model behavior, perform model debugging, promote trust in AI models, and assist in collaborative human-AI decision-making. As a result, the research fields of interpretable and →

发现论文，激发创造

MultiBench: 多模态表示学习的多尺度基准

MultiBench是一个系统性和统一化的基准测试，跨越15个数据集，10种模态，20种预测任务和6个研究领域。MultiBench提供自动化的端到端机器学习流程，简化和标准化数据加载，实验设置和模型评估。随着大量的实践证明，不同研究领域提出的方法可以改善9/15数据集的最先进性能。MultiBench处理了跨模态一般化，复杂性和健壮性的问题，对于未来研究具有重要的挑战性，包括可扩展性到大规模多模态数据集和对现实缺陷的健壮性。

Jul, 2021

MultiViz: 多模型可视化与理解

本文介绍了一种名为MultiViz的方法，通过四个阶段的解构和分析实现了对多模态机器学习模型的内部机制进行可视化和理解，帮助用户进行模型预测仿真、特征的可解释性赋值、误差分析以及漏洞检测等任务。

Jun, 2022

多模态机器学习的基础和趋势：原理、挑战和开放性问题

本文旨在探讨多模态机器学习的计算与理论基础，定义了三个关键原则和六个核心技术挑战，并提出多个未来研究的开放性问题。

Sep, 2022

多模态融合交互：人工智能量化的研究

研究了如何通过人工注释对多模态交互进行分类，提出了信息分解方法，比较了部分标签和反事实标签的机会和限制，并提出了一种自动转换方法以量化多模态数据集中的交互

Jun, 2023

多模态可解释人工智能：方法学进展及未来研究方向综述

本文系统分析了多模态可解释人工智能的最新进展，主要聚焦于相关的主要预测任务、公开可用的数据集、各类 MXAI 方法、评价指标以及未来研究方向和当前挑战。

Jun, 2023

MultiZoo和MultiBench：多模态深度学习的标准化工具包

MultiZoo和MultiBench提供了一个自动化的机器学习流水线，能够简化和标准化数据加载、实验设置和模型评估，这些对于研究者们了解多模态模型的能力和局限性是很有帮助的。

Jun, 2023

多模态、多任务、可解释的模块化网络

MultiModN通过融合多种数据类型的潜在表示，提供了对多个预测任务的实时反馈，解释性好且对缺失数据具有鲁棒性，同时不影响性能。

Sep, 2023

利用大型多模式模型解释生成模型的潜在表示

我们提出了一个框架，使用大型多模态模型全面解释生成模型中的每个潜在因子，并量化评估我们生成解释的不确定性，从而学习不同生成模型对解释的解缠效果，最后讨论最先进的大型多模态模型的解释能力和局限性。

Feb, 2024

解开人工智能错误之谜：探索大型语言模型的人工和机器解释的有效性

本研究通过与最新方法（集成渐变、保守LRP和ChatGPT）进行对比实证调查，收集和分析了156个人生成的文本和基于显著性的解释，并发现与机器显著性图相比，人工显著性图尤其在解释人工智能结果时更具说明性，但其性能与对人工智能模型和解释的信任负相关，揭示了人工智能解释中的困境：当有助于理解错误的人工智能预测时，会降低任务表现。

Apr, 2024

多模态人工智能中的公平性与偏见：一项调研

人工智能系统中解决公平性和偏差的重要性不可低估。本文填补了大型多模态模型在公平性和偏差研究方面相对于大型语言模型的缺口，提供了50个数据集和模型的示例以及影响它们的挑战；我们除了文献中已知的内在偏差和外在偏差两种方式外，还确定了一种新的偏差量化方法（preuse）；我们批判性地讨论了研究人员面对这些挑战时采取的各种方式。我们的方法使用了两个稍有不同的Google Scholar搜索词，结果显示出“大型多模态模型中公平性和偏差”的搜索词的结果为33,400个链接，“大型语言模型中公平性和偏差”的搜索词的结果为538,000个链接。我们相信这项工作有助于填补此领域的研究空白，并向研究人员和其他相关者提供处理多模态人工智能中公平性和偏差问题的见解。

Jun, 2024