Jul, 2023

用于从操作指令中分割物体的多模态扩散分割模型

PDF
TL;DR本研究提出了一种多模式扩散分割模型 (MDSM)，可以理解自然语言指令并生成目标物体的分割掩模，该模型在性能上优于基线方法 10.13 个平均 IoU 点。
natural language instructionsegmentation maskmultimodal diffusion segmentation modelcrossmodal parallel feature extractionperformance
发现论文，激发创造
  • 自然语言引导的动态多模态实例分割

    本研究旨在处理通过自然语言描述的对象分割问题，并提出了一种新的方法，将递归神经网络和卷积神经网络相结合以完全利用语言的递归本质。通过四个标准数据集的比较，我们的方法在八个任务中的六个任务中表现超越之前的方法。

    Jul, 2018

  • 基于最优传输多边形匹配的多模式基础模型的开放词汇操纵指令的目标分割

    从开放式词汇指令生成分割蒙版的新方法，使用最优传输创建一种新的损失函数以避免多边形顶点顺序错误导致错误的蒙版生成。使用基于 REVERIE 数据集和 Matterport3D 数据集构建的新数据集评估了该方法，结果表明该方法比现有蒙版生成方法更有效，最佳模型在该数据集上相对于一个代表性的基于多边形的方法改进了 16.32%。

    Jul, 2024

  • Mx2M: 三维语义分割领域自适应中的跨模态建模

    现有的跨模态域自适应方法在三维语义分割中仅通过跨模态特征匹配预测结果的 2D-3D 补充性，然而，在目标领域缺乏监督的情况下，这种补充性并不总是可靠的。我们为解决缺乏监督的问题，将蒙版建模引入该任务，并提出了一种名为 Mx2M 的方法，该方法利用蒙版的跨模态建模来减小域间差距。我们的 Mx2M 包含两个组成部分。一个是核心解决方案，即跨模态去除和预测（xMRP），它使得 Mx2M 适应各种情景并提供跨模态自监督。另一个是一种新的跨模态特征匹配方式，即动态跨模态滤波器（DxMF），它确保整个方法动态地使用更合适的 2D-3D 补充性。在包括白天 / 夜晚、美国 / 新加坡和 A2D2/SemanticKITTI 在内的三个跨模态自适应场景上，对 Mx2M 的评估在许多指标上取得了显著的改进。

    Jul, 2023

  • 通过潜在扩散模型探索上下文分割

    通过使用代表性的生成模型 —— 潜在扩散模型（LDM），我们从新的角度探索了上下文分割问题，提出了两种元架构和相应的输出对齐和优化策略。我们通过全面的消融研究发现，分割质量取决于输出对齐和上下文指令。实验证明，我们的方法在挑战性的上下文分割任务中取得了与专业模型或视觉基础模型相当甚至更强的结果，证明了潜在扩散模型也可以达到足够好的效果。

    Mar, 2024

  • DiffusionSeg: 适应扩散的非监督物体发现

    本文提出了 DiffusionSeg 框架，利用预训练和扩散模型实现无监督物体发现，并采用合成 - 利用两阶段策略来缓解数据不足和结构差异问题，采用反演技术将图像映射回扩散特征，通过大量实验验证了该方法的优越性。

    Mar, 2023

  • InstructEdit：通过用户指令改进基于扩散的图像编辑自动蒙版

    本文提出了一种名为 InstructEdit 的框架，其中包括了语言处理器，分段器和图像编辑器三个组件，这种框架可以根据用户的指令进行细粒度的编辑，且在输入图像中包含复杂对象或多个对象的精细编辑应用中表现优异。

    May, 2023

  • 基于推理的大型多模态模型的 3D 零件分割

    鉴于目标物体识别需求，我们介绍了一种称为 3D 物体推理部分分割的新型细分任务，旨在根据复杂和隐含的文本查询输出一个基于 3D 物体特定部分的分割蒙版，并提出了一种能够分割 3D 物体部分的模型，并生成与 3D 物体分割请求相对应的自然语言解释。

    Apr, 2024

  • 通过挖掘跨模态语义实现目标分割

    利用跨模态语义指导多模态特征的融合和解码，提出了一种新的方法以控制相对熵，具有共享和特定的表示法以及跨层自我监督，并基于质量适应模态贡献的 all-round attentive fusion 和 course-to-fine decoder 两部分解码器，提高特征可辨别性和系统的表现。

    May, 2023

  • 基于扩散的零样本医学图像到图像转换用于跨模态分割

    通过使用深度生成模型，本文提出了一种新颖的无监督图像转换方法，以实现零样本跨模态图像分割任务，并通过与其他生成模型的实证比较进行了验证。

    Apr, 2024

  • 使用语言对任意 3D 物体进行分割

    本文介绍了一种基于语言指令的语义和几何感知的视觉语言学习框架，通过直接从 3D 点云生成语义相关的掩码，从而在 ScanNetv2、ScanNet200 和 Replica 基准测试中明显优于现有方法，且结果接近全监督对照组，尽管训练数据中缺乏类别标注。

    Apr, 2024