Jun, 2024

潜在解释器：用多模态基础模型解释深度生成模型中的潜在表示

PDF
TL;DR本文介绍了 LatentExplainer，这是一个自动化生成深度生成模型中潜变量语义有意义解释的框架，通过扰动潜变量和解释生成数据的变化，提供了一种系统的方法来理解和控制数据生成过程，增强了深度生成模型的透明度和可解释性。
deep generative modelslatent variablesexplanationsinterpretabilitydata generation process
发现论文，激发创造
  • 利用解释作为潜在变量实现可解释的自然语言理解

    本文提出了一种可解释自然语言理解的框架，使用一小部分人类注释的解释进行训练，并采用变分 EM 方法进行优化，同时提出了基于解释的自训练方法，在两个自然语言理解任务上进行实验，证明了该框架不仅可以在监督和半监督设置下进行有效的预测，还可以生成良好的自然语言解释。

    Oct, 2020

  • 利用大型多模式模型解释生成模型的潜在表示

    我们提出了一个框架，使用大型多模态模型全面解释生成模型中的每个潜在因子，并量化评估我们生成解释的不确定性，从而学习不同生成模型对解释的解缠效果，最后讨论最先进的大型多模态模型的解释能力和局限性。

    Feb, 2024

  • 探索艺术中的可解释人工智能：解释生成音乐中的潜在空间

    介绍了一种增加可解释性的音乐生成的潜变量模型，通过潜空间正则化、用户界面反馈循环和音乐属性可视化，实现了模型和生成音乐结果的可解释性和可调试性。

    Aug, 2023

  • 自然语言深度潜变量模型教程

    通过变分推断的视角深入探讨了深度潜变量模型的局限性，洞察了深度参数化条件概率的困难性以及潜变量目标在反向传播中的不可微性问题。

    Dec, 2018

  • Diffexplainer: 基于扩散模型的跨模态全局解释

    DiffExplainer 是一个利用语言 - 视觉模型实现多模态全局可解释性的新型框架。DiffExplainer 根据优化的文本提示条件化扩散模型，合成最大化分类器的类输出和隐藏特征的图像，从而提供视觉工具来解释决策。此外，对生成的视觉描述的分析允许自动识别偏见和虚假特征，与常常依赖手动干预的传统方法相反。语言 - 视觉模型的跨模态可转移性还使得更容易用文本描述决策。我们进行了广泛的实验，包括广泛的用户研究，证明了 DiffExplainer 在生成解释模型决策的高质量图像方面的有效性，超过了现有的激活最大化方法，并且在自动识别偏见和虚假特征方面也取得了成功。

    Apr, 2024

  • 用于数据高效文本分类的潜变量生成模型

    通过向生成式文本分类器引入离散潜变量，并探究几种图模型配置，我们提高了它的性能，尤其在小数据集下，同时分析了模型的可解释性。

    Oct, 2019

  • 文本生成的隐式深度潜变量模型

    本文提出了一种基于采样的变分分布表示方法，用于自然语言生成中 deep latent variable models，并通过最大化互信息的正则化来解决 posterior collapse 问题，进一步发展了 VAE，并在多个文本生成场景中证明了其有效性和通用性。

    Aug, 2019

  • 通过潜在的视觉语义过滤器注意力解释深度卷积神经网络

    LaViSE 提出了一个新的方法，可以在不依赖于任何数据集的前提下，在指定层级产生数据语义化描述，并通过它的模块化结构来方便任何训练完毕的模型的分析，如 CNN 等。并通过这种方法来检测出隐藏的数据集偏见或比较不同子集。

    Apr, 2022

  • 通过连续变异因素控制生成模型

    本文提出了一种新的方法，通过找到生成模型中有意义的方向来提高生成模型潜在空间的可解释性，从而精确地控制生成图像的特定属性，如位置或比例。该方法对于搜索编码生成图像的简单变换方向（如平移，缩放或颜色变化）特别适用，并在 GAN 和变分自动编码器模型的质量和量化方面得到了证明。

    Jan, 2020

  • 神经故事生成中预测可解释情节的学习

    本文提出了一种基于潜在变量模型的神经故事生成方法，采用外部摘要模型指导该方法从训练数据中学习生成具有可解释高级情节的概述，并在自动和人类评估中取得了显著的改进。

    Dec, 2019