Feb, 2023

Paparazzi：深入探究语言和视觉模型在观点描述中的能力

PDF
TL;DR本论文研究了 CLIP 模型在 3D 环境下对物体视角描述和识别中的表现以及对少量可用训练数据条件下的硬负采样和随机对比进行微调。
发现论文，激发创造
  • CLIP 引导的视觉 - 语言预训练用于 3D 场景问答

    本文介绍了一种新颖的 3D 预训练视觉 - 语言方法，将来自 2D 图像的语言知识和视觉概念应用于 3D 世界的理解，使用流行的 CLIP 模型代入编码的 3D 场景特征以评估其 3D 世界推理能力，并在 3D 视觉问答下游任务中证明了该方法的优越性和可解释性。

    Apr, 2023

  • Multi-CLIP：针对 3D 场景中问答任务的对比视觉语言预训练

    本研究提出一种名为 MULTI-CLIP 的 3D 预训练视觉语言模型，可有效提高现有 3D 视觉问答任务的表现并构建出具有良好结构的 3D 场景特征空间。

    Jun, 2023

  • 3D 特征蒸馏与对象为中心先验

    将自然语言与物理世界联系起来是一个应用广泛的话题，该论文提出了一种基于对象中心先验知识的多视角特征融合策略，用于改善基于 2D 和 3D 图像的自然语言 grounding 和语言引导机器人抓取任务。

    Jun, 2024

  • MV-CLIP：多视角 CLIP 用于零样本 3D 形状识别

    通过视角选择和分层提示的策略，本研究旨在改进预训练模型在零样本三维形状识别中的信心，实现无需额外训练的令人印象深刻的分类准确性。

    Nov, 2023

  • 全景调谐：提升视角不变性的视觉语言预训练模型

    通过多视角训练数据集和架构优化，本论文成功改进了视觉语言预训练模型 (VLP) 在三维视角变化下的鲁棒性，提高了其对视角变化的不变性能力。

    Apr, 2024

  • CLIPose: 预训练视觉语言知识下的类别级物体姿态估计

    通过利用不同模态的丰富语义知识，以及多模态对齐和增强的方式，CLIPose 提出了一种新颖的 6D 姿态框架，以更好地实现对目标类别信息的学习和姿态估计，并在两个主流基准数据集上取得了最先进的性能。

    Feb, 2024

  • 语言能理解深度吗？

    本文提出一种名为 DepthCLIP 的方法，将基于对比学习的语言 - 图像预训练（CLIP）应用于零样本单目深度估计任务中，成功地将语义上的知识迁移到了更为复杂的几何量化目标中，而无需训练，超越了现有的无监督方法，甚至接近了早期的全监督网络。

    Jul, 2022

  • 三维物体语言基础

    本文介绍了一个新的推理任务，旨在针对三维对象的视觉和非视觉语言，并介绍了用于区分对象的几种 CLIP 模型。虽然最近在联合建模视觉和语言方面取得了进展，但这些基于图像的模型仍然对对象的三维性质了解不足，此文发现，将视图估计添加到语言引理模型可以提高准确性。

    Jul, 2021

  • 通过视觉基础模型实现无标签场景理解

    该研究调查了使用视觉基础模型实现二维和三维场景理解的潜力，并提出了一个新的跨模式噪声监督方法，利用 CLIP 和 SAM 模型的优势共同训练二维和三维网络，实现了在不需要标记数据的情况下进行图像语义分割。

    Jun, 2023

  • CLIP 是否是细粒度开放世界感知的主要障碍？

    现代应用越来越需要适应训练过程中未遇到的新概念的灵活计算机视觉模型。本文通过对开放词汇物体识别限制的详细研究，发现了这些限制的根本原因，并试图理解是否存在于 CLIP 嵌入中的细粒度知识未能在推断时利用。我们的初步实验表明，简单的 CLIP 潜空间重新投影有助于分离细粒度概念，为开发能够处理细节的骨干网络铺平了道路。

    Apr, 2024