Apr, 2024

对社会经济结果的视觉概念解释的对比预训练

PDF
TL;DR利用深度学习从卫星图像中预测社会经济指标已成为一个越来越受欢迎的研究方向，我们研究了额外特定任务对比损失的表示学习与后期概念可解释性在社会经济研究中的相互关系，并通过两个不同地理位置和任务的结果表明，任务特定预训练对潜在空间嵌入按照社会经济结果的连续排序有所影响，从而提高了模型的可解释性。进一步地，我们阐述了分析模型对社会经济结果区间的概念敏感性如何为城市研究提供新的见解。
socioeconomic indicatorssatellite imagerydeep learningpost-hoc concept explainabilityurban studies
发现论文，激发创造
  • 基于知识注入的对比学习用于城市图像的社会经济预测

    提出一种基于知识图谱 (KG) 以及知识注入对比学习 (KnowCL) 模型，能够有效地促进城市图像的表征学习和预测，并结合卫星和街景影像进行可持续发展目标的预测，相较基线模型预测精度有超过 30％的提高。

    Feb, 2023

  • 通过概念学习先验可解释模型的框架

    本文提出一种将解释生成模块附加在基础网络之上、共同训练整个模块的自我解释深度学习模型，适用于无监督概念学习，能够生成有关概念的有意义的解释，并且在概念监督方面有一定的可塑性，具有更好的性能表现。通过在多个数据集上的实验，证明该模型比最近提出的基于概念解释的模型表现更好。

    Aug, 2021

  • 通过概念特定的解释揭示分割和物体检测中的隐藏上下文偏差

    本文提出了后续可解释的人工智能方法 L-CRP，可以生成更细致的解释，自动识别和可视化模型在推理过程中学习、识别和使用的相关概念，并在输入空间中精确定位它们，进而揭示和验证背景特征的使用和存在，并说明对各个流行数据集的效果。

    Nov, 2022

  • 后验概念解释何时可辨识？

    该研究提出可识别地探索嵌入空间的概念，是在没有人类标签的情况下，通过搜索训练的嵌入空间中可解释的概念，比如物体的形状或颜色来提供后续的决策解释。通过展示 PCA 和 ICA 能够恢复非高斯分布的独立概念，再提出两种基于图像生成模型可组合性的方法来恢复相关概念，该研究提供了没有人类标签可靠概念发现的坚实基础。

    Jun, 2022

  • 正确的概念：通过与其解释交互来修订神经符号概念

    该研究提出了一种基于神经符号场景表征的解释交互学习方法，它能够在语义层面上对模型进行干预，通过对物体的组合性解释来获得更好的效果。

    Nov, 2020

  • 一种基于高程数据的对比方法，用于稀缺和高级语义标签的遥感分类

    该研究提出一种混合无监督 / 监督学习方法，结合反差预训练模型和预测粗略海拔图像的预文本任务，以处理只有少量标签的地球观测下游任务，并评估其在分割和图像分类任务中的实验结果。

    Apr, 2023

  • 通过困难负样本增强多模态对比学习中的概念理解

    通过合成困难的负面文字示例，引入了一种新的预训练方法来改善视觉 - 语言模型中细粒度概念理解的问题，并介绍了一个新的具有挑战性的用于评估颜色、物体和大小细粒度对齐的数据集 InpaintCOCO。

    Mar, 2024

  • 多标签引导的软对比学习用于高效地球观测预训练

    利用自监督预训练技术在大规模卫星数据上取得了重要进展，同时发现在地表覆盖地表利用产品等自由全球语义信息资源和自然世界的视觉基础模型等重要资源的应用能显著提高地球观测预训练的效率和效果。

    May, 2024

  • 通过潜在空间分解揭示独特的概念向量

    该论文提出一种后期无监督方法，通过分解和聚类方法，自动发现深度学习模型中的概念向量，从而支持可解释性分析，可以成功鉴别与疏离数据有关的训练样本

    Jul, 2023

  • 使用中间概念的深度监督

    本文提出一种深度监督方法，通过利用中间概念对 CNN 的隐藏层进行监督，将先前的领域结构融入到神经网络训练中，显著提高了推广能力。该方法还可以仅使用合成场景来训练，并在实际图像上取得了 2D/3D 关键点本地化和图像分类的最新性能。

    Jan, 2018