ACLJul, 2022

利用机器和用户生成的自然语言描述提升少样本图像分类

PDF
TL;DR提出一种学习自图像和描述的模型（LIDE），通过与基准模型的对比实验证明了机器自动生成的描述可以作为模型预测的解释，高质量的用户生成描述可以进一步提高模型的性能，并通过比较特征空间中的图像表示和文本表示来研究语言描述为什么能提高 few-shot 图像分类的性能。
few-shot image classificationmachine learningnatural language processingtext encodertext decoder
发现论文，激发创造
  • 利用图像描述符的语言模型是强的少样本视频语言学习器

    本文提出了通过图像和语言模型进行少样本学习的视频语言学习器（VidIL），它在视频描述、视频问答、视频描述检索和视频未来事件预测等多种视频语言任务中表现出强大的性能，并且能够在使用上下文中的几个例子来生成目标输出，进而大大提高视频未来事件预测的准确率。

    May, 2022

  • 利用多个描述特征进行强韧少样本图像学习

    通过使用大型语言模型自动列举每个类别的多个视觉描述，并使用视觉 - 图像模型将这些描述转化为每个图像的多个视觉特征集，然后使用稀疏逻辑回归选择相关特征子集进行分类，该方法在直观表示相关特征和少样本学习任务中表现出色，并在基于微调的方法中在分布内外任务上超过了现有的最先进方法。

    Jul, 2023

  • 利用语言塑造视觉表示进行少样本分类

    本文提出了一种语言塑造的学习方法（LSL），通过利用语言作为监督信号，可以提高小样本学习的效果，在两个具有挑战性的少样本数据集上表现良好。

    Nov, 2019

  • BYOC：基于共同撰写的类别描述的个性化少样本分类

    我们提出了一种使用 LLM 进行少样本文本分类的新方法，其中 LLM 为每个类别的重要特征描述提供提示，用户与 LLM 进行交互以共同撰写这些描述，我们的实验证明了我们的方法能够获得高准确度的分类器，并且用户能够构建适合其特定需求的个性化分类器，其平均准确度比现有技术提高了 15%。

    Oct, 2023

  • 利用大型语言模型的描述进行视觉分类

    本文介绍了一种基于描述符的视觉语言模型分类方法，通过查询大型语言模型获取描述符，实现从中获得更多的信息并提供可解释性；实验证明了该方法在图像分类精度，适应新概念和缓解偏差等方面有着广泛的优势。

    Oct, 2022

  • 生成图像特定文本改进细粒度图像分类

    提出了一种从仅包含图像的数据集中生成图像特定的精细文本描述，并证明这些文本描述可以用于改进分类的方法 GIST，并通过在图像和生成的文本对上对视觉语言模型进行微调以学习对齐的视觉语言表示空间，从而在多个领域的四个不同领域的细粒度分类数据集上实现了 4.1% 的准确率提升，并在全样本和少样本情况下实现了类似的改进。

    Jul, 2023

  • 电影描述的长短故事

    本文研究使用图像及视频描述辅助盲人及人机交互的应用。通过使用预训练的对象分类器 CNNs 以及 LSTMs，学习生成描述的算法，并在 MPII-MD 数据集上获得了目前最佳性能。

    Jun, 2015

  • 通过自然语言反馈教机器描述图片

    本研究通过引入人在环路中，使得机器人可以通过自然语言意见反馈学习多层级基于短语的图像字幕生成，展示出比独立编写的人类字幕表现更好的性能

    Jun, 2017

  • 通过使用文本描述使 VLMs 适应性更好的零射分类改进

    通过使用大型语言模型（LLMs）生成的类别描述和丰富的细粒度图像分类数据集，我们提出了一种方法来改善视觉 - 语言模型（VLMs）在细粒度领域的零样本分类性能。通过在训练过程中利用图像 - 文本监督，我们的方法在鸟类和花卉等新颖类别的零样本分类准确度上平均提高了 4-5％。地理先验也被证明对于改善零样本分类同样有效，与视觉特征互补。我们计划发布包含 7 个数据集的基准测试，以促进未来的零样本识别研究。

    Jan, 2024

  • 基于线性短语的简单图像描述生成器

    该文介绍了一种使用自然语言描述图像的算法，该算法结合了计算机视觉和自然语言处理。通过使用先前训练好的卷积神经网络生成的图像表示和用于描述它们的短语之间的度量，该纯双线性模型训练出能够生成描述语句的能力。同时，作者提出了一种简单的语言模型，该模型能够针对给定的测试图像生成相关的描述。实验结果表明，该方法可以在最近发布的 Microsoft COCO 数据集上获得与先进模型相当的结果，而模型极为简单。

    Dec, 2014