Sep, 2022

零样本多模式艺术家控制的三维物体集检索和探索

PDF
TL;DR通过多模式输入，如 2D 草图、图片和文本从高质量的 3D 资产检索解决通常需要高度专业化技能才能手工设计和生成对象和其他资产模型的问题。
3d contentasset retrievalmulti-modality fusionlatent embeddingsfeature-driven retrieval
发现论文，激发创造
  • 利用基于 CLIP 的多模态方法进行艺术品分类与检索

    在艺术作品领域中，我们通过对艺术品图像进行多模式图像预训练，并使用最新的 CLIP 模型，在 NoisyArt 数据集上进行了详尽的实验，取得了令人印象深刻的（零样本）分类效果和良好的艺术品之间及描述与艺术品之间的效果。

    Sep, 2023

  • 在线嵌入多尺度 CLIP 特征于 3D 地图中

    本研究介绍了一种新的方法，将多尺度的 CLIP (对比性语言 - 图像预训练) 特征在线嵌入到 3D 地图中，通过利用 CLIP，该方法克服了传统的词汇有限方法的限制，并将语义信息融入到生成的地图中，从而高效地计算和嵌入多尺度 CLIP 特征，并且通过将 CLIP 特征嵌入到结果地图中，实现了离线检索和实时对象搜索，进一步提出了一种基于地图方法的零样本对象 - 目标导航系统，并通过对象 - 目标导航、离线对象检索和多对象 - 目标导航在模拟环境和真实机器人实验中验证了其有效性，结果表明，我们的方法不仅在地图生成方面表现出更快的性能，而且在对象 - 目标导航任务的成功率方面也超过了现有的最先进方法。

    Mar, 2024

  • 检索增强的多模态语言建模

    提出了一种 “检索增强的多模态模型”，结合了预检索检索任务和预训练的模型，在图像生成和描述生成任务上实现了比以前模型更好的表现，同时大大降低了训练成本。

    Nov, 2022

  • MV-CLIP：多视角 CLIP 用于零样本 3D 形状识别

    通过视角选择和分层提示的策略，本研究旨在改进预训练模型在零样本三维形状识别中的信心，实现无需额外训练的令人印象深刻的分类准确性。

    Nov, 2023

  • 使用文本和草图学习跨模态深度嵌入进行多对象图像检索

    本文介绍了一种跨模态图像检索系统，允许文本和草图作为查询的输入模态。使用跨模态深度网络架构共同建模草图和文本输入模态以及图像输出模态，通过学习文本和图像之间以及草图和图像之间的共同嵌入，使用注意力模型有选择性地关注图像的不同对象，可以实现多对象检索。实验结果表明，所提出的方法在标准数据集中实现了最佳的单对象和多对象图像检索

    Apr, 2018

  • 使用检索增强的知识，学习定制的视觉模型

    提出一种名为 REACT 的框架用于获取相关网络知识以构建目标领域的定制视觉模型。该框架通过检索与预训练数据集最相关的图像 - 文本对作为外部知识源，并仅训练新的模块化块，冻结所有原始权重，证明了其在零、少、全样本设置下显著提高了分类、检索、检测和分割任务的成功率。

    Jan, 2023

  • Multi-CLIP：针对 3D 场景中问答任务的对比视觉语言预训练

    本研究提出一种名为 MULTI-CLIP 的 3D 预训练视觉语言模型，可有效提高现有 3D 视觉问答任务的表现并构建出具有良好结构的 3D 场景特征空间。

    Jun, 2023

  • 面向音视频零样本分类和检索的联合多模态嵌入

    本文提出了一种基于视听多模态的零样本学习（ZSL）方法，针对视频进行分类和检索。作者证明了视听模态均对视频的 ZSL 非常重要，提出了一个利用已有大规模音频事件数据集构建的视听多模态数据集，并通过嵌入学习方法实现零样本分类和检索任务中加入音频模态的性能提升，并提出了一种新的方法来预测 ' 主导 ' 模态，从而证明了该视听多模态方法在未知测试类中仍具有推广能力。

    Oct, 2019

  • 可压缩且可搜索：学习图像压缩的 AI 原生多模态检索系统

    我们提出了一个融合 AI-native 多模式搜索与神经图像压缩的框架，通过使用简单的适配器来提高多模式数据的压缩效率和搜索准确性，实验证明了我们的方法在数字内容、多媒体数据和大数据时代具有可伸缩性和高效性。

    Apr, 2024

  • 跨模态协调：在多元输入模态中的协同

    提出两种不同的方法来解决跨模态检索的问题，一种基于 CLIP 对任意数量的输入模式进行扩展，而第二种方法通过回归跨模态相似性来解决协调问题，并在多个数据集上进行实验证明其简单有效，并允许以新的方式解决检索问题。

    Jan, 2024