将大型语言模型中的领域特定内容与知识图谱融合，以增强零样本目标状态分类

Mar, 2024

将大型语言模型中的领域特定内容与知识图谱融合，以增强零样本目标状态分类

Fusing Domain-Specific Content from Large Language Models into Knowledge Graphs for Enhanced Zero Shot Object State Classification

HTML

PDF

Filippos Gouidis, Katerina Papantoniou, Konstantinos Papoutsakis Theodore Patkos, Antonis Argyros, Dimitris Plexousakis

TL;DR本研究探讨了大型语言模型（LLM）在通过语义嵌入生成和提供领域特定信息方面的潜力，并在基于视觉的零样本目标状态分类任务中将LLM整合到一种流程中。研究结果表明，使用LLM嵌入与通用预训练嵌入相结合，可以显著提高性能，并通过与竞争模型的比较分析展示了所提出方法所达到的最新性能。

Abstract

domain-specific knowledge can significantly contribute to addressing a wide variety of vision tasks. However, the generation of such knowledge entails considerable human labor and time costs. This study investigates the potential of Large Language Models (LLMs) in generating and provid

发现论文，激发创造

通过语义嵌入和知识图谱进行零样本识别

本研究旨在解决零样本识别问题，基于语义嵌入和分类关系预测视觉分类器，提出了一种基于图卷积网络的方法，并在知识图中学习得到的结果表明，相比于当前的最先进结果，该方法在性能上获得了显著提升。

Mar, 2018

视觉和语言推理：探索补充知识的益处

本文研究了将通用知识库中的知识注入视觉-语言模型中，并通过辅助训练目标增加了语义和关系知识的表征，实现了对问题回答、视觉推理等任务中的性能提升，这种技术不依赖于特定的模型，具有较小的计算开销。

Jan, 2021

为视觉和语言模型命名类别的学习

使用可用数据为每个类学习最佳词嵌入作为视觉内容的函数，以此来解决零样本识别对手工类名的高度敏感以及适应新、较小数据集的困难。我们证明，该解决方案可以轻松集成在图像分类和物体检测管道中，在多种情况下产生显著的性能增益，并提供模型偏差和标注误差的见解。

Apr, 2023

大规模预训练模型是否可帮助视觉模型完成感知任务？

本文提出一种新的学习范式，通过利用提前训练的大型模型来增强传统视觉模型的表示能力，并在多个视觉模型中验证了该算法的有效性，可以提高图像分类等任务的准确性。

Jun, 2023

一句话描绘千张画面：通过语言指导提炼CLIP进行领域泛化

通过引入视觉-语言模型进行知识蒸馏，本文提出了一种新的域泛化方法，称为RISE (Regularized Invariance with Semantic Embeddings)，并通过在多个基准数据集上的实验证明其在域泛化方面的优越性。

Sep, 2023

语言模型中的冰冻Transformer是有效的视觉编码层

利用大型语言模型进行视觉任务，通过冻结预训练的语言模型的转换器块作为视觉令牌的编码器层，能够显著改善计算机视觉任务的性能，并提出信息过滤假设来解释预训练语言模型在视觉编码中的有效性。

Oct, 2023

将视觉-语言模型的固有知识与无监督领域自适应相结合的自知识蒸馏

无监督领域自适应(UDA)通过利用标记的源数据集并将其知识转移到相似但不同的目标数据集，克服了标记数据的繁琐工作。本文结合UDA获得的知识与视觉-语言模型的内在知识。通过视觉-语言模型生成源数据集和目标数据集的零样本预测，调整分布以凸显获胜概率，同时使用源数据和目标数据以保持相对置信度。我们通过传统的领域自适应方法和自知识蒸馏法结合实现对源数据集的知识获取，并将该方法与一种渐进源域扩展策略(GSDE)相结合，结果表明零样本预测也有益处。我们在三个基准测试集(OfficeHome、VisDA和DomainNet)上进行实验和消融研究，超过了最先进的方法，并在消融研究中展示了我们算法不同部分的贡献。

Dec, 2023

大型语言模型是低样本图像分类的良好触发器学习者

通过整合大型语言模型（LLMs）提升预训练视觉-语言模型（VL）在低样本图像分类中的能力，提出了大型语言模型作为提示学习者（LLaMP）的方法，并在11个数据集上的零样本和小样本图像分类任务中取得了更好的性能。

Dec, 2023

LLM 见视觉语言模型用于零样本单类别分类

我们提出了一个两步解决方案，首先通过查询大规模语言模型来辨别视觉上具有混淆性的物体，然后依靠视觉-语言预训练模型（例如CLIP）进行分类。通过适应大规模视觉基准测试，我们展示了所提出方法在此情境下优于其他自适应商用替代方案的能力，包括一个在分类树中与正样本在一个固定距离的负样本的细粒度可控版本的iNaturalist。我们的研究表明，仅通过标签，可以区分单个类别与其他语义相关的类别。

Mar, 2024

视觉增强零样本图像分类的多模态大语言模型

使用多模态大语言模型(Multimodal LLMs)的简单且有效方法实现了零样本图像分类，通过生成全面的文本表示从而在交叉模态嵌入空间中生成固定维度特征，在线性分类器上融合这些特征以进行分类，取得了令人瞩目的效果。

May, 2024