CVPRSep, 2023

语言 - 视觉模型下的零样本物体计数

PDF
TL;DR零样本目标计数 (ZSC) 是一种新的设置，只需类名作为测试时间的输入。我们提出了找到几个目标裁剪样本并将其用作计数示例的方法，该方法消除了对人工注释者的需求并实现了自动化操作。通过使用大型语言 - 视觉模型构建类原型，我们选择包含目标对象的补丁，同时使用排名模型评估每个补丁的计数误差并选择最合适的示例用于计数。在最近的类别无关计数数据集 FSC-147 上的实验结果验证了我们方法的有效性。
class-agnostic object countingzero-shot object countingautomated operationobject cropsranking model
发现论文，激发创造
  • 零样本物体计数

    本文提出了零样本目标计数（ZSC）这样一种新的设置，该计数系统不需要在循环中进行人工注释，并且可以自动运行。该方法首先构造一个类原型来选择可能包含感兴趣对象即类相关块的补丁，并引入一种可以定量衡量任意补丁作为计数示例的适宜程度的模型，通过将该模型应用于所有候选补丁，可以选择最合适的补丁作为计数示例，实验结果验证了方法的有效性。

    Mar, 2023

  • 免样本通用计数

    本文提出了一种用于类别无关计数的视觉计数器，利用区域建议网络及密度估计对重复出现的对象进行计数，实现对新颖目标类别的自动化计数。实验表明，该方法在 FSC-147 数据集上表现优异。

    May, 2022

  • VLCounter：基于文本的视觉表示方法用于零样本物体计数

    零样例物体计数的一阶段基线方法 VLCounter 是通过探索 CLIP 的语义补丁嵌入的内在关联，结合三种模块来实现；SPT 用于获得目标高亮表示，LAT 用于将语义补丁相似度转化为适合计数任务的形式，SaSC 用于保持对未见类的泛化能力，并通过在 FSC147，CARPK 和 PUCPR + 上的广泛实验证明了 VLCounter 的好处。

    Dec, 2023

  • CLIP-Count: 基于文本引导的零样本物体计数

    本研究提出了一种新的技术 CLIP-Count，利用预处理好的图像与文本对齐知识，在零样本的情况下，估计开放词汇对象的密度图，用于类无关物体计数， 并在 FSC-147、CARPK 和 ShanghaiTech 人群计数数据集上进行了广泛的实验，结果表明我们的方法实现了零样本物体计数的最高精度和泛化性能。

    May, 2023

  • 点、线段和计数：一种用于对象计数的普遍框架

    基于检测的 PseCo 框架将 SAM 和 CLIP 结合起来，实现了对少样本和零样本的准确目标计数，通过点定位、分割和计数等步骤解决了效率和小物体区分等难题。

    Nov, 2023

  • 通过语言引导的模板学习提升零样本计数

    通过深入研究语言引导示例学习，论文提出了一种新颖的 ExpressCount，用于改进零样本物体计数。通过语言导向的示例感知器和下游视觉零样本计数管道构成的 ExpressCount，在寻找细粒度特征方面表现出色，充分利用了来自大型语言模型的丰富语义先验知识，并显著提升了任意类别的零样本学习能力，从而为发展和验证基于语言的计数模型开辟了新的途径。大量实验证明了 ExpressCount 的最先进性能，甚至展示了与部分特定类别计数模型相媲美的准确性。

    Feb, 2024

  • 零样本物体检测

    本文提出了一种解决零样本目标检测问题的方法，并通过使用视觉 - 语义嵌入，背景感知方法，以及使用大量类别语义标签的辅助数据来解决仅有少数训练类别的问题。在 MSCOCO 和 VisualGenome 两个标准检测数据集上进行实验，验证了该方法的有效性。

    Apr, 2018

  • CounTR: 基于 Transformer 的通用视觉计数

    本研究提出了 Counting Transformer (CounTR) 用于实现对任意语义类别的目标进行计数，并采用两阶段的训练策略进行无监督预训练和有监督微调，通过综合评估获得了当前最先进的零样本和少样本计数结果，并使用大规模计数基准进行了彻底的消融研究。

    Aug, 2022

  • 学习数数

    该研究针对视觉物体计数问题，提出了一种基于少样本回归任务的方法，同时也介绍了一种新的适应策略和数据集以供模型训练和评估，并证明该方法在性能上优于现有的物体识别和计数方法。

    Apr, 2021

  • 生成用于零样本分类的视觉表征

    本文面向学习图像分类器的任务，并针对一些分类仅由语义描述（如视觉属性），而其他分类也由实例图像定义的情况下，提出了一种 Zero-Shot classification task (ZSC) 的方法。旨在通过生成模型和有监督学习方法，有效地解决这一问题，实验证明该方法在 ZSC 和广义 ZSC（GZSC）方面均取得了最新的成果。

    Aug, 2017