Aug, 2023

3D-STMN: 基于依赖驱动的超点 - 文本匹配网络用于端到端 3D 引用表达式分割

PDF
TL;DR3D-RES 中，采用了一个创新的端到端 Superpoint-Text Matching Network (3D-STMN)，该网络通过依赖驱动的洞察力丰富而充实。我们的模型具有超点文本匹配机制，该机制通过将语言指示与其对应的类别超点直接相关联，实现了跨模态语义关系的高效利用，并且进一步引入了依赖驱动交互模块来提升模型对指代表达的语义理解，从而提升模型的本地化和分割能力。在 ScanRefer 基准上的综合实验结果表明，我们的模型不仅取得了新的性能标准，在 mIoU 方面提升了 11.7 个百分点，而且速度提升惊人，超过传统方法 95.7 倍。
3d referring expression segmentationsuperpoint-text matching networkdependency-driven insightsend-to-endsegmentation proposals
发现论文，激发创造
  • 三维点云视觉锚定的统一框架

    3D point cloud visual grounding encompasses 3D referring expression comprehension (3DREC) and segmentation (3DRES), and this paper proposes a unified framework called 3D Referring Transformer (3DRefTR) that integrates 3DREC and 3DRES, achieving superior performance on the ScanRefer dataset.

    Aug, 2023

  • 使用语义超点树网络在 3D 场景中进行实例分割

    提出了一种基于 Semantic Superpoint Tree Network (SSTNet) 的端到端解决方案，其通过学习场景点的语义特征构建中间的语义超级点树（SST）， 在中间树节点处进行实例对象的建议，以及通过一个模块对错误的超级点进行修剪， 针对数据不规则性提出了一种改进的方法。在 ScanNet 和 S3DIS 的基准测试中表现出强大的实用性。

    Aug, 2021

  • RESMatch: 半监督方式下的指代表达式分割

    该研究介绍了 RESMatch，这是一种用于参考表达分割的半监督学习方法，旨在减少对详尽数据标注的依赖，通过修订强扰动、文本增强和强弱监督质量调整等三种创新，RESMatch 在多个数据集上显著优于基线方法，并树立了新的最优效果，为以后的半监督学习参考表达分割研究奠定了基础。

    Feb, 2024

  • 超越一对一：重新思考参考图像分割

    本文提出了一种双重多模态交互网络 (DMMI)，用于解决自然语言表达中引用图像分割的问题，并设计了一个新的挑战性但真实的数据集 Ref-ZOM，通过大量实验证明该方法在不同数据集上取得了最先进的性能，并且 Ref-ZOM 训练的模型能够良好地处理各种类型的文本输入。

    Aug, 2023

  • 联合指称表达理解和分割的多任务协作网络

    本研究提出一种新的多任务协作网络 (MCN) 模型通过联合学习来实现指代表达理解 (REC) 和分割 (RES) 两个高度相关的任务，并通过创新设计解决预测冲突的挑战，实验结果表明，在三个基准数据集 RefCOCO、RefCOCO+ 和 RefCOCOg 上，MCN 模型相较于现有方法有了显著的表现提升，REC 和 RES 的准确率分别提高了 7.13% 和 11.50%，证实了我们的方法的有效性。

    Mar, 2020

  • 超点 Transformer 实现高效三维语义分割

    本篇论文介绍一种新的基于超像素点的变压器架构，用于高效地语义分割大规模 3D 场景。

    Jun, 2023

  • DynRefer: 通过动态分辨率探索区域级多模态任务

    通过动态分辨率方法（DynRefer）来改善区域级多模态任务的高精确度指代，提高多模态模型的表示适应性，并在多个区域级多模态任务上取得新的最先进结果。

    May, 2024

  • InstanceRefer: 基于实例多级语境参考的点云视觉定位合作全面理解

    本文提出了一种名为 InstanceRefer 的模型，该模型利用语言描述实现目标类别预测，从 3D 点云的广义实例分割中筛选出少量实例候选项，利用多级语境推理和多层次特征匹配来实现最相关候选项的选择和定位，从而实现了优越的 3D 视觉定位结果

    Mar, 2021

  • 遥感图像文本检索的尺度 - 语义联合解耦网络

    本文针对遥感图像 - 文本检索的问题，提出一种新颖的 Scale-Semantic Joint Decoupling Network（SSJDN）方法，其中利用 Bidirectional Scale Decoupling（BSD）和 Label-supervised Semantic Decoupling（LSD）模块分别来处理尺度和语义解耦。同时，采用语义引导的三元损失（STL）来提高匹配概率和缩短检索时间。实验结果表明，所提出的方法在四个基准遥感数据集上优于当前最先进的方法。

    Dec, 2022

  • 揭示超越物体的部分：迈向更精细的指代表达分割

    提出了一种多层次指代表达式分割任务 (MRES)，构建了一个评估基准 RefCOCOm 和一个规模为 32.2M 的高质量数据集 MRES-32M，设计了 UniRES 模型完成统一的对象级和部分级视觉对齐任务，通过在 RefCOCOm、RefCOCO (+/g) 等数据集上的实验证明了该方法的优越性。

    Dec, 2023