Apr, 2023

利用语义视觉先验解释视觉和语言生成模型

PDF
TL;DR使用 SHAP 为基础的框架，可以在具有语义先验的视觉背景下提取任意数量的特征，从而可生成高度有意义的视觉解释并达到比传统方法更低的计算成本及更好的语义表达能力。
interpretability methodsshapvisual explanationsmeaning representationcompute cost
发现论文，激发创造
  • SyntaxShap: 一种文本生成的语法感知解释性方法

    为了在安全关键领域利用大型语言模型的力量，我们需要确保其预测的可解释性。本文介绍了 SyntaxShap，一种针对文本生成的局部、模型无关的可解释性方法，考虑了文本数据中的句法结构。通过扩展 Shapley 值来考虑基于解析的句法依赖关系，SyntaxShap 只考虑受依赖树约束的联盟。我们采用基于模型的评估方法，比较 SyntaxShap 及其加权形式与适用于文本生成任务的最先进的可解释性方法，包括忠实度、复杂性、连贯性以及解释与模型的语义对齐等多个度量标准。我们表明，我们的句法感知方法能够生成更忠实、连贯和可解释的预测解释，适用于自回归模型。

    Feb, 2024

  • 关于语言模型在视觉概念语义相似度评估方面的可解释性研究

    这篇研究探讨了高性能预训练语言模型的表现，并提出了一些可解释的评估指标用于理解检索实例的概念质量，并对具有明显查询语义的对抗性干预进行了测试，揭示了不透明指标中的漏洞并显示了学习语言表示中的模式。

    Sep, 2022

  • 模型无关 NLP 可解释性中解释的粒度

    通过对复杂的基于 BERT 的分类器使用基于段落的方法，本文改进了当前基于单词采样的黑盒 NLP 可解释性方法的局限性，大大提高了基准分类任务的解释保真度。

    Dec, 2020

  • 学习的视觉特征到文本解释

    利用大型语言模型解释视觉模型的学习特征，通过训练神经网络建立图像分类器和语言模型之间的连接，生成大量的句子来解释分类器学习到的特征，并提取最频繁的词语，增强图像分类器的解释性和鲁棒性。

    Sep, 2023

  • 通过文本解释解读和控制视觉基础模型

    基于大规模预训练视觉模型，如 CLIP，的本文的研究主要集中在模型的解释和控制，通过理解模型的潜在令牌和进行模型编辑来改进模型的推理行为和鲁棒性。

    Oct, 2023

  • TextGenSHAP: 长文本生成中的可扩展后验解释

    TextGenSHAP 是一个高效的事后解释方法，该方法结合了 LM 特定技术，通过减少处理时间、提供局部化重要词语和句子的能力以及增强选择性片段和最终回答的准确性，显著提高了大型语言模型的性能。

    Dec, 2023

  • 利用解释作为潜在变量实现可解释的自然语言理解

    本文提出了一种可解释自然语言理解的框架，使用一小部分人类注释的解释进行训练，并采用变分 EM 方法进行优化，同时提出了基于解释的自训练方法，在两个自然语言理解任务上进行实验，证明了该框架不仅可以在监督和半监督设置下进行有效的预测，还可以生成良好的自然语言解释。

    Oct, 2020

  • 将视觉分类表示为单词的线性组合

    利用视觉 - 语言模型识别视觉分类任务中的基于语言的描述器，通过在图像和文本之间的预训练联合嵌入空间进行线性组合，得出每个单词与基于视觉的分类器的关联度权重，从而使非专家人员能够以非平凡水平完成专业医学任务。

    Nov, 2023

  • 通过语义一致性提升视觉故事的生成和评估

    研究了一种生成序列图像以可视化故事的任务，提出了改进方法包括双路学习框架、复制 - 转换机制和基于 MART 的 transformer 模型，并提供了相应的评价指标和对这些指标的直观检验。

    May, 2021

  • 大型视觉 - 语言模型中的复合推理引导

    使用一种新颖的生成方法，我们对大型视觉语言模型（如 GPT-4）进行控制，以描述图像并进行组合推理，在 Winoground 数据集上优于其他嵌入式方法，并在最佳描述的增强下获得最高 10% 的准确率改进。

    Jan, 2024