Oct, 2023

面向动物身体和面部的语言驱动开放词汇关键点检测

PDF
TL;DR使用图像和语言模型相结合的开放词汇关键点检测方法，通过关联文本提示与相关关键点特征实现任意物种的关键点检测，以实现在零样本情况下超越当前最先进的少样本关键点检测方法，并在 OVKD 上取得了显著的性能改进。
image-based keypoint detectionopen-vocabulary keypoint detection (ovkd)open-vocabulary keypoint detection with semantic-feature matching (kdsm)vision and language modelsfew-shot keypoint detection
发现论文，激发创造
  • 未见过物种的少样本关键点检测与不确定性学习

    本研究提出了一种名为 “FSKD” 的方法，它利用少量标注样本可以对未知物种进行基准点和新关键点的检测。该方法包含主要和辅助基准点表示学习、相似性学习、基准点本地化不确定性建模等步骤，并引入了多元高斯分布来利用邻近基准点之间的隐式相关性。方法在检测新的基准点、少样本细粒度视觉识别和语义对齐任务中都表现出了有效性，其中在细粒度视觉识别中检测到的关键点提高了分类的准确性。

    Dec, 2021

  • 半监督关键点定位

    本文介绍了一种半监督的方法，使用少量标记图像和大量未标记图像同时学习关键点热图和姿态不变的关键点表示，关键点表示的语义一致性约束加以保证，并通过特征空间将图像及其扩充副本的关键点表示紧密地联系在一起，以实现对于人类和动物身体特征点的本土化定位，并在多项基准测试中显著优于先前的方法。

    Jan, 2021

  • 面部关键点检测的跨物种知识传递

    该研究提出了一种通过纠正动物面部形态与人类面部形态之间的差异，使用预训练的人脸关键点检测网络和细板样条变形网络对动物面部关键点进行定位的方法，并在包含马和羊的数据集上取得了优秀的结果。

    Apr, 2017

  • 开放词汇检测和分割综述：过去、现在和未来

    计算机视觉中的目标检测和分割作为最基本的任务，在深度学习时代取得了巨大的进展。然而，由于昂贵的手动标注，现有数据集中的标注类别往往规模较小且预定义，即最先进的检测器和分割器无法推广到开放词汇之外。因此，近年来越来越多的关注集中在开放词汇检测（OVD）和分割（OVS）上。在本调研中，我们提供了对过去和最新 OVD 和 OVS 发展的全面审查。为此，我们根据任务类型和方法学开发了一个分类法。我们发现，对于不同的方法学，包括：视觉 - 语义空间映射、新颖的视觉特征合成、区域感知训练、伪标签、基于知识蒸馏和基于迁移学习的方法，弱监督信号的许可和使用可以很好地区分。所提出的分类法在不同任务之间是通用的，包括目标检测、语义 / 实例 / 全景分割、三维场景和视频理解。在每个类别中，详细讨论了其主要原则、关键挑战、发展路线、优点和缺点。此外，我们还对每个方法的关键组成部分进行了基准测试。最后，我们提供了一些有前途的方向，以激发未来的研究。

    Jul, 2023

  • 探索大型基础模型在开放词汇 HOI 检测中的潜力

    通过引入条件多级解码和细粒度语义增强（CMD-SE）的新型端到端开放词汇 HOI 检测框架，利用视觉 - 语言模型 (VLMs)，本研究模拟不同距离的人 - 物对的不同特征图级别，进一步利用大型语言模型（LLMs）生成人体部位状态的描述，以改进人体与物体的交互识别，并在 SWIG-HOI 和 HICO-DET 两个数据集上取得了领先的开放词汇 HOI 检测结果。

    Apr, 2024

  • 面向零资源口语语言的视觉提示关键词定位

    该论文提出了视觉提示关键字定位 (VPKL) 任务，旨在通过一个具有新型定位注意力机制的语音视觉模型，使用一个新的关键字采样方案定位和预测输入中的关键字，相较于基于视觉词袋模型（Visual BoW）的检测和定位，VPKL 模型在关键字检测和定位精度上都有了提高，定位 F1 值相较词袋模型提升了 16%。

    Oct, 2022

  • SEKD：自适应进化的关键点检测和描述

    使用自监督框架 SEKD 从未标记的自然图像中学习高级局部特征模型，实现了与传统手工精制和基于深度神经网络方法相比表现更好的齐次估计、相对姿态估计和结构运动任务检测。

    Jun, 2020

  • 一份新颖的四足动物关键点检测数据集

    本文介绍了使用深度学习模型结合 AwA Pose 数据集识别四足动物关键点的研究成果，该数据集涵盖了较多动物种类及关键点数量，可以帮助计算机视觉领域研究构建更准确的模型。

    Aug, 2021

  • 基于图像级别分类和去偏置交叉模态对比学习的开放词汇三维检测

    OV-3DETIC 是一个开放式词汇的 3D 点云检测器，使用基于图像的分类监督，并利用伪标签和实现跨模态对比学习方法从 ImageNet1K 扩展了其单词表，从而使点云检测器具有实现开放式词汇检测的能力，并实现了至少 10.77% 的 mAP 绝对值改进。

    Jul, 2022

  • 无需三维注释的开放词汇点云物体检测

    本文探讨了通过分治策略进行开放式词汇 3D 点云检测的方法，该方法使用图像预训练模型来学习定位各种对象，并连接文本和点云表示，以便根据提示文本对新对象类别进行分类，从而实现开放式词汇 3D 目标检测，同时在 ScanNet 和 SUN RGB-D 数据集上实现了显著的性能提升。

    Apr, 2023