Nov, 2023

将视觉分类表示为单词的线性组合

PDF
TL;DR利用视觉 - 语言模型识别视觉分类任务中的基于语言的描述器，通过在图像和文本之间的预训练联合嵌入空间进行线性组合，得出每个单词与基于视觉的分类器的关联度权重，从而使非专家人员能够以非平凡水平完成专业医学任务。
发现论文，激发创造
  • 透过语言瓶颈学习分类：言语中的视觉

    本研究训练了一个视觉模型，使用基于文本的特征表征图像，以达到在图像分类方面有效且具有可解释性的成果，进一步探讨了训练过程中遇到的挑战。

    Jun, 2023

  • 将人类知识与视觉概念对齐，实现可解释的医学图像分类

    通过融合领域知识与大型语言模型，Explicd 提出了一种可解释的、以诊断标准为基础的语言辅助诊断框架，不仅模拟了人类专家的决策过程，还提高了医学图像分类性能。

    Jun, 2024

  • 学习的视觉特征到文本解释

    利用大型语言模型解释视觉模型的学习特征，通过训练神经网络建立图像分类器和语言模型之间的连接，生成大量的句子来解释分类器学习到的特征，并提取最频繁的词语，增强图像分类器的解释性和鲁棒性。

    Sep, 2023

  • 可解释的深度泛化领域分类模型

    AI 模型的可解释性通常会因降低准确性而受到质疑。我们开发了一种训练策略，不仅提高了目标分类方案的解释性，同时并未降低准确性，实现方式是对决策网络作出决策的可视证据进行区域定位，其表示方法为表征哪些像素对网络决策的贡献最大的显著性图。我们的训练策略通过使模型集中于直接对应于地面目标的图像区域的反馈，在自动和人工指标的量化中量化可解释性，并提出了可解释性作为弥合不同域之间视觉 - 语义差距的手段。我们证明，这种方法不仅提高到新领域的泛化性能，而且不会影响在原始领域上的性能。

    Mar, 2020

  • 生成视觉解释

    提出了一种新的深度学习视觉识别模型，可根据可见物体的特征进行分类，并生成解释说明预测标签的原因，该模型使用了一种基于采样和强化学习的新型损失函数，能够生成与现有描述方法不同的描述结果。

    Mar, 2016

  • 可解释的人工智能：理解、可视化和解释深度学习模型

    基于深度学习的解释性可视化方法在人工智能领域日益被重视，本文总结了目前解释深度学习模型的最新发展，并提出两种解释预测的方法，并将这些方法用于三个分类任务中进行评估。

    Aug, 2017

  • 结合概念分析和 ILP 的 DNN 表达式解释

    该论文研究了如何利用深度学习神经网络中学习到的内在特征，利用概念分析方法和归纳逻辑编程理论，构建基于符号的模型，实现黑盒机器学习的可解释性，体现其透明度和可靠性的要求。

    May, 2021

  • 语言模型的可视化与解释

    本文介绍了一些最流行的自然语言处理的深度学习可视化技术，并强调其可解释性和可解释性。

    Apr, 2022

  • 自然语言处理的可解释性评估及性能和可解释性之间的算法分析

    探讨了在医疗保健领域中机器学习的应用。通过在 MIMIC-III 临床笔记中预测死亡率的任务中，我们展示了各种可完全解释的方法和模型不可知后续属性的可视化技术，同时提供了评估解释质量的通用方法。

    Jul, 2021

  • 构想 MedCLIP：医学视觉语言模型的可解释性深入探究

    分析多模态模型的解释性性能以及提出克服这些方法的缺点的简单方法，并提供对医学领域中解释性的新观点，该评估方法具有普适性。

    Mar, 2024