Dec, 2023

使用 Captum 解释生成语言模型

PDF
TL;DRCaptum 是一个针对 PyTorch 的全面可解释性库，提供了从可解释性文献中借鉴的一系列方法，以增进用户对 PyTorch 模型的理解。本文介绍了在 Captum 中新增的针对分析生成型语言模型行为的功能，并提供了可用功能的概述以及其在理解生成型语言模型中学到的关联上的示例应用。
captummodel explainabilitypytorchgenerative language modelslearned associations
发现论文，激发创造
  • Captum: 一个统一通用的 PyTorch 模型可解释性库

    本文介绍了一种新颖的基于 PyTorch 的模型可解释性库，支持多模型、易扩展性和易用性，包含多种梯度和扰动算法，具备模型评估指标和交互式可视化工具 Captum Insights。

    Sep, 2020

  • 基于大型语言模型的图像背景和描述生成字幕

    本论文提出了一种新方法，使用大型语言模型从文本描述和上下文中生成图像字幕，而无需直接处理图像，经调优后，该方法在 CIDEr 指标上优于目前最先进的图像 - 文本对齐模型，解决了使用深度学习模型进行图像字幕生成时遭遇的一些难题。

    Jun, 2023

  • 利用大型语言模型将视觉数据融合到丰富的图像标题中的 FuseCap

    本文提出了一种用于创建图像标题的方法，通过采用额外的视觉信息，包括对象检测器、识别器等来丰富标题，经大型语言模型融合，生成全面的图像描述。实验证明，该方法有效，所提供的数据集显着提高了图像 - 文本检索。

    May, 2023

  • FlexCap: 在图像中生成丰富、本地化和灵活的标题

    我们介绍了一种多功能的 “灵活字幕” 视觉语言模型（VLM），能够生成长度各异的区域特定描述。该模型 FlexCap 训练用于为输入边界框生成长度条件化的字幕，从而控制其输出的信息密度，从简要的物体标签到详细的字幕不等。通过创建大规模的训练数据集，从带字幕的图像开始，我们实现了这一灵活字幕的功能，并展示了其在密集字幕任务、视觉问答和对象检测等领域具有广泛应用的优越性能。

    Mar, 2024

  • 大型语言模型的可解释性概述

    对大型语言模型的解释技术进行分类和总结，并讨论了这些技术在训练范式、生成局部解释和全局解释方面的应用以及评估指标、调试模型和提高性能的挑战和机会。

    Sep, 2023

  • 从展示到描述：深度学习图像字幕化综述

    本文综合研究图像描述中的视觉编码、文本生成、训练策略、数据集和评估指标等方面，量化比较多个相关的最前沿方法，以识别体系结构和训练策略中最具影响力的技术创新并探讨问题的许多变体和开放挑战，旨在为理解现有文献和强调计算机视觉和自然语言处理领域的未来方向提供工具。

    Jul, 2021

  • 使用大型语言模型进行可视化标注（CVLLM）：教程

    自动生成可视化工具的标题是很不新鲜的，但是最近大规模语言模型 (LLMs) 的进步为此带来了令人激动的新可能。本文在对信息可视化（InfoVis）原理和过去的标题工作进行简要回顾后，介绍了在通用 LLMs 中使用的神经模型和变压器架构。接下来，我们讨论了它们在 InfoVis 中的最新应用，重点是标题。此外，我们还探讨了这个领域未来的有希望的研究方向。

    Jun, 2024

  • ClipCap: 图像字幕的 CLIP 前缀

    本文使用 CLIP 编码作为前缀，利用简单的映射网络，然后微调语言模型以生成图像标题，无需额外的注释或预训练，有效地为大规模和多样化的数据集生成有意义的标题。同时，我们证明了我们的模型在有挑战性的概念标题和 nocaps 数据集上取得了可比较的结果，同时更简单、更快、更轻。

    Nov, 2021

  • A-CAP: 带有常识知识的预测字幕生成

    通过引入一种新任务，即预期字幕，来模拟人类基于时间顺序的视觉暗示进行未来思考的能力，并提出了一种名为 A-CAP 的模型，该模型将常识知识并入预训练的视觉和语言模型中，使其能够进行预期字幕，并在定制的视觉叙述数据集上进行定量和定性评估，A-CAP 优于其他图像字幕方法，为预期字幕建立了一个强大的基线，同时解决了该任务的内在挑战。

    Apr, 2023

  • SysCaps：复杂系统仿真代理的语言接口

    用于仿真建模的学习框架中，使用语言作为接口与底层系统相互联系。我们称系统的语言描述为 “System Caption” 或 “SysCap”。通过使用大型语言模型 (LLMs) 来合成高质量的描述，我们解决了自然语言 SysCaps 与仿真运行数据配对的缺乏。在我们的框架下，我们针对两个复杂能源系统的真实世界模拟器训练了多模态文本和时间序列回归模型。我们的实验表明，设计面向真实世界代理模型的语言接口具有与标准基线相当的准确性。我们以定性和定量的方式展示了 SysCaps 解锁了基于文本提示的代理模型和超越以往可能性的新的泛化能力。我们将发布生成的 SysCaps 数据集和支持后续研究的代码。

    May, 2024