CVPRMar, 2023

通用实例感知作为物体发现和检索

PDF
TL;DR本文提出了一个称之为 UNINEXT 的通用实例感知模型，它将各种实例感知任务重新制定为统一的对象发现和检索范式，并且可以灵活地通过更改输入提示来感知不同类型的对象。这个统一的公式带来了以下好处：(1) 可以利用来自不同任务和标签词汇的大量数据进行联合训练，这对于缺乏训练数据的任务尤其有益。(2) 这个统一的模型是参数高效的，能够在处理多个任务时节省冗余计算。在 20 个具有挑战性的基准测试中，包括经典的图像级任务 (对象检测和实例分割)、视觉语言任务 (指称理解和分割) 和六个视频级对象跟踪任务，UNINEXT 表现出优异的性能。
发现论文，激发创造
  • Uni-Perceiver: 通用感知的预训练统一架构，用于零样本和小样本任务

    使用 Uni-Perceiver 的通用感知架构进行多个任务和多个模态的统一建模和共享参数，在预训练和微调的阶段都表现出了可接受的结果和表现。

    Dec, 2021

  • UniFS：基于点表示的通用少样本实例感知

    通过将多个实例感知任务转化为动态点表示学习框架，UniFS 提出了一种通用的少样本实例感知模型，并提出 Structure-Aware Point Learning (SAPL) 以进一步增强表示学习。

    Apr, 2024

  • 通过可散点学习统一视觉感知

    UniHead 使用 transformer encoder 实现视觉感知任务的统一处理，提供了一个简单、灵活、通用的视觉感知头，支持对象检测、实例分割和姿态估计等视觉任务，并在 ImageNet 和 COCO 数据集上进行了广泛的评估。

    Aug, 2022

  • 统一感知分析用于场景理解

    这篇论文研究了一项名为统一感知分析的新任务，通过开发 UPerNet 多任务框架和一种训练策略来实现从给定图像中识别尽可能多的视觉概念，最后在自然场景中应用训练网络来发现视觉知识。

    Jul, 2018

  • UniAP: 透过少样本学习实现通用动物视觉感知

    UniAP 是一种新型的通用动物感知模型，它利用少样本学习实现不同视觉任务中不同动物之间的跨物种感知。通过利用不同动物和任务之间的共享视觉特征，UniAP 能够将知识从研究充分的物种传递到有限标记数据甚至从未见过的物种中，展示其在姿势估计、分割和分类任务方面的广泛适应性和泛化能力。

    Aug, 2023

  • UniHead：统一多感知检测算法

    我们提出了一种名为 UniHead 的创新检测头，同时统一了三种感知能力：变形感知、全局感知和跨任务交互，使得我们的方法在 COCO 数据集上显著改进了多个检测器的性能。

    Sep, 2023

  • 对于通用视觉感知同时进行对齐和提示

    一种全能视觉感知模型，通过将语言引导的对齐转化为开放词汇的检测，使检测和定位达到收敛，同时通过将语言和视觉表示对齐，并在自然和具有挑战性的数据上进行训练，成功地提高了各种任务的性能。

    Dec, 2023

  • 统一输入输出：视觉、语言和多模态任务的统一模型

    Unified-IO 是一种模型，它可以执行各种人工智能任务，包括传统的计算机视觉任务、视觉与语言任务和自然语言处理任务，通过将每个任务的异构输入和输出转换为离散词汇令其有共同的表示方式，从而实现使用一个单一的基于 transformer 的架构，针对视觉和语言领域的 90 多个不同数据集联合训练，其能够在诸如 NYUv2-Depth、ImageNet、VQA2.0 等 16 个不同基准测试中产生强大的结果，这是第一个不需要针对特定任务进行微调即可执行所有 7 个 GRIT 基准任务的模型。

    Jun, 2022

  • UniEX: 基于跨度提取视角的统一信息抽取的有效高效框架

    提出新的泛信息提取范式 UniEX，可适用于多种信息提取任务，利用自编码语言模型学习通用知识，并通过自设计的 traffine attention 机制在 14 项基准测试数据集上取得了领先的结果。

    May, 2023

  • UniT：统一变形器进行多模态多任务学习

    我们提出了一种名为 UniT 的统一 Transformer 模型，该模型可以同时学习不同领域中最重要的任务，从目标检测到自然语言理解和多模态推理，在编码器 - 解码器架构的基础上，通过编码器对每个输入模态进行编码，并使用共享解码器对编码的输入表示进行每个任务的预测，然后是特定于任务的输出头。我们的实验证明，在 8 个数据集上联合学习 7 个任务，使用比以前的工作更少的参数，在每个任务上都获得了强大的性能。

    Feb, 2021