open-vocabulary | BriefGPT - AI 论文速递

关键词open-vocabulary

搜索结果 - 28

OpenObj：具有细粒度理解的开放词汇对象级神经辐射场
通过 OpenObj 方法，在 3D 场景重建方面，有效地建立开放性对象级别的 Neural Radiance Fields，以实现细粒度的理解和零 - shot 语义分割。
PDF20 days ago
FreeSeg-Diff：基于扩散模型的无需训练的开放词汇分割
该论文研究了基于开源预训练模型的零样本、无需训练的图像分割方法，通过结合不同的小型基础模型，利用扩散模型生成的特征，以及基于 CLIP 模型进行开放性词汇处理，实现了在 Pascal VOC 和 COCO 数据集上超越许多基于训练的方法并与
PDF3 months ago
OV-Uni3DETR: 基于循环模态传播的统一开放词汇 3D 物体检测
OV-Uni3DETR 是一种统一的开放词汇 3D 检测器，通过循环模态传播实现，具有开放词汇的 3D 检测、模态统一、场景统一的优势，并以超过 6％的性能优势超越了现有方法，在只使用 RGB 图像的情况下性能与以前的基于点云的方法相当甚至
PDF3 months ago
MaskDiffusion: 利用预训练扩散模型进行语义分割
使用预训练的冻结稳定扩散的 MaskDiffusion 方法实现了开放词汇的语义分割，在没有额外训练或注释的情况下取得了较其他可比的无监督分割方法显著的定性和定量改善。
PDF3 months ago
MaskClustering: 基于视角一致的掩膜图聚类用于开放词汇的三维实例分割
通过多视角观察实现全局蒙版图构建和聚类，用于 3D 实例分割，并利用 2D 蒙版预测的先验实例知识，消除对 3D 数据的训练需求，实现开放词汇的实例分割和无类别蒙版生成的最新成果。
PDF6 months ago
PIXAR: 像素空间中的自回归语言建模
PIXAR 是第一个基于像素的自回归型语言模型，它不依赖预定义的词汇表，可以用于自由形式的生成任务，并与先前的编码器 - 解码器模型在文本表示学习性能方面保持一致。通过简单的对抗预训练，PIXAR 的可读性和性能得到了显着提高，使其在短文本
PDF6 months ago
Video-GroundingDINO: 面向开放词汇的时空视频定位
该研究论文介绍了一种开放式语义和语境视频定位模型，通过使用预训练的空间定位模型，克服了固定词汇和有限训练数据的限制，取得了在闭合式和开放式语境下的卓越性能。
PDF6 months ago
CLIP-DINOiser: 教授 CLIP 一些 DINO 的技巧
我们提出了一种零样本开放词汇语义分割方法，无需任何注释，通过从自监督特征中提取出的定位先验来局部改进密集的 MaskCLIP 特征，从而显著提升 MaskCLIP 的性能并产生平滑的输出。
PDF6 months ago
ORES：开放词汇的负责任视觉合成
通过引入可学习指令的重写和扩散合成模型的提示干预，我们提出了一种两阶段干预（TIN）框架，用于有效合成图像，避免任何概念但尽可能地遵循用户的查询，实验证明我们的方法在减少图像生成风险方面有效。
PDF10 months ago
基于提示集成的自训练方法用于开放词汇领域自适应
本文提出了一种基于 VLM 的开放词汇无监督领域自适应框架，并通过 Prompt Ensemble Self-Training 技术来提高领域间的图像和文本分布的转移灵活性和效率，实验结果表明其在 10 个图像识别任务中比目前最先进的技术
PDFa year ago
RASR2: 通用序列到序列语音识别的 RWTH ASR 工具包
本文提出了一种名为 RASR2 的研究性通用 S2S 解码器，它支持多种 S2S 模型、语言模型、标签单元 / 拓扑和神经网络架构，并提供了对不同搜索模式和设置的丰富支持，因此可以有效地对开放词汇和闭合词汇场景进行解码。作者通过在 Swit
PDFa year ago
OpenVIS: 开放词汇视频实例分割
本研究提出和研究了一项新的计算机视觉任务，名为 OpenVIS，该任务旨在根据对应的文本描述同时分割，检测和跟踪视频中的任意对象。通过开放词汇的设计，OpenVIS 可以识别所需类别的对象，而不管这些类别是否包括在训练数据集中。为了实现这一
PDFa year ago
开放式视频实例分割
本文提出了开放词汇视频实例分割这一新颖任务，在收集的大词汇量视频实例分割数据集上基于集成的 MindVLT 实现了该任务。实验结果表明，该方法能够有效地处理实际中从未见过的新类别，并且提供了数据集和代码以促进未来的研究。
PDFa year ago
CVPR无需口罩的 OVIS：无需手动标注口罩的开放词汇实例分割
本研究提出了一种基于 Open-Vocabulary（OV）和伪标注掩模的无掩模 OVIS 路线方法，以在弱监督学习条件下学习基本和新颖类别的实例分割模型，从而克服了现有实例分割模型中标注困难的问题并取得更好的性能结果。
PDFa year ago
机器人导航的音视频语言地图
提出了一种名为 Audio-Visual-Language Maps (AVLMaps) 的 3D 空间地图表达方式，集成了来自音频、视觉和语言提示的跨模态信息，可以通过多模态引导实现零样本多模态目标导航，并在模糊场景中提供 50％更好的召
PDFa year ago
CVPR面向开放词汇语义分割的旁路适配器网络
本文介绍了一种利用预训练的视觉 - 语言模型（名为 Side Adapter Network）实现开放词汇语义分割的新框架，其中包括对固定 CLIP 模型附加侧网络以识别类别和预测掩模建议等过程，最终实现快速而精确的语义分割，并在多个基准测
PDFa year ago
开放词汇目标检测的学习目标语言对齐
提出了一种使用自然语言监督学习从配对的图像文本数据中直接学习的新型开放词汇目标检测框架，通过将对象 - 语言对齐形式化为一个图像区域特征集合和一个词向量集合之间的集合匹配问题，可以更简单和有效地在图像 - 文本对上训练开放词汇对象探测器，并
PDF2 years ago
Open-Vocabulary Panoptic Segmentation with MaskCLIP
本文提出了用于任意描述的显式开放分类的 Panoptic 分割，建立了一个没有调优或蒸馏的基线方法，然后开发了一个新的基于 Transformer 的方法 MaskCLIP，使用 ViT-CLIP 骨架和掩模查询来执行语义和物体实例分割。最
PDF2 years ago
基于图像级别分类和去偏置交叉模态对比学习的开放词汇三维检测
OV-3DETIC 是一个开放式词汇的 3D 点云检测器，使用基于图像的分类监督，并利用伪标签和实现跨模态对比学习方法从 ImageNet1K 扩展了其单词表，从而使点云检测器具有实现开放式词汇检测的能力，并实现了至少 10.77% 的 m
PDF2 years ago
QbyE-MLPMixer：使用 MLPMixer 实现 Query-by-Example 开放词汇关键词检测
本文提出了一种基于 MLPMixer 的纯 MLP 神经网络模型，用于识别开放词汇下的关键字，该模型在 Hey-Snips 数据集和内部数据集中都取得了比传统基于循环神经网络和卷积神经网络模型更好的性能，并拥有更少的参数和 MACs。
PDF2 years ago