Apr, 2024

多模态自动可解释性代理

PDF
TL;DR这篇论文介绍了 MAIA，一种多模态自动解释性代理。MAIA 是一个使用神经模型自动化神经模型理解任务的系统，如特征解释和故障模式发现。它通过提供一系列工具来对其他模型的子组件进行迭代实验，从而对其行为进行解释。这些工具包括人工解释性研究人员常用的工具：用于合成和编辑输入、计算最大激活样本、以及总结和描述实验结果。MAIA 提出的解释性实验将这些工具组合起来描述和解释系统行为。我们评估了 MAIA 在计算机视觉模型中的应用。首先，我们描述了 MAIA 在学习到的图像表示的特征（神经元级别）中的描述能力。在多个经过训练的模型和一个包含真实描述的人工生成视觉神经元数据集中，MAIA 生成了与由专家人工实验者生成的描述相当的结果。然后，我们展示了 MAIA 在两个附加的可解释性任务中的应用：降低对虚假特征的敏感性和自动识别可能被错误分类的输入。
发现论文，激发创造
  • 多模态可解释人工智能：方法学进展及未来研究方向综述

    本文系统分析了多模态可解释人工智能的最新进展，主要聚焦于相关的主要预测任务、公开可用的数据集、各类 MXAI 方法、评价指标以及未来研究方向和当前挑战。

    Jun, 2023

  • 人工道德代理的最低可解释性要求

    本文概述了人工智能可解释性的一个快速发展子领域 - 基于道德决策的可解释性模型，并介绍了最小可解释性水平 (Minimum Level of Interpretability, MLI) 的概念，以及为不同类型的代理建议 MLI 的安全部署方式。

    Jul, 2023

  • AS-XAI: 卷积神经网络的自我监督自动语义解释

    提出自我监督的自动语义可解释人工智能框架 (AS-XAI)，利用透明正交嵌入语义提取空间和行居中主成分分析 (PCA) 来全局语义解释模型决策，在没有人为干预的情况下产生了人可理解的解释。

    Dec, 2023

  • 咖啡厅场景的多模态体验互动代理

    通过多模态环境记忆模块，我们提出了多模态交互式智能体（MEIA），能够将自然语言表达的高级任务转化为可执行动作序列，从而实现了大型模型与具有体现性控制的集成，实验结果展示了 MEIA 在各种交互任务中的良好表现。

    Feb, 2024

  • MAEA：多模态归因嵌入式人工智能

    理解多模态感知以支持具体人工智能是一个开放性问题，因为这些输入可能既包含高度互补的信息，也存在冗余的信息。我们提出了 MAEA 框架，以计算每个可微策略的模态全局归属，并展示了如何应用归属性分析 EAI 策略中的语言和视觉归属性进行低层行为分析。

    Jul, 2023

  • LangXAI: 整合大型视觉模型生成文本解释以提高视觉感知任务的可解释性

    LangXAI 是一个框架，将可解释的人工智能 (XAI) 与先进的视觉模型相结合，为视觉识别任务生成文本解释。通过为最终用户提供分类、目标检测和语义分割模型输出的基于文本的解释，LangXAI 填补了人工智能和计算机视觉领域知识有限的最终用户的理解差距。初步结果表明，LangXAI 具有更高的 BERT 分数，增强了其可信度和透明度，为最终用户提供了一个更加透明可靠的视觉任务的人工智能框架。

    Feb, 2024

  • LVLM-Intrepret：大规模视觉语言模型的解释性工具

    人们对于多模态大型语言模型及其内部机制的理解仍然是复杂的任务，因此该研究提出了一个新颖的交互应用来提高图像补丁的可解释性，并评估语言模型将输出与图像联系起来的效果，通过系统性地研究模型来发现系统的局限性，为提升系统功能铺平道路，案例研究证明该应用在理解流行的大型多模态模型（LLaVA）故障机制方面的作用。

    Apr, 2024

  • 通过解缠局部解释精细解释多模型

    本篇论文致力于提高解释多模态模型的技术现状。该文中提出的 DIME 方法通过模型解离为单模态贡献和多模态交互来帮助用户更好地理解模型行为，实现了对任意模态、模型架构和任务的普遍解释。经过全面的实验验证，DIME 产生了准确的解释，可以帮助用户更深入地理解模型行为，并为实际部署提供了一步调试和改进。

    Mar, 2022

  • 交互式代理基础模型

    提出了一种交互式代理基础模型，采用新颖的多任务代理训练范式，实现了跨领域、数据集和任务训练 AI 代理的能力，展示了其在机器人技术、游戏 AI 和医疗保健领域的性能，支持多模态和多任务学习。

    Feb, 2024

  • AMII: 自适应多模态人际和自我模型用于行为合成

    提出 AMII 方法，利用注意力机制综合非言语行为以适应 Socially Interactive Agents 的不同角色。

    May, 2023