May, 2024

超级变形器用于全尺度补全

PDF
TL;DR使用 Hyper-Transformer Amodal Network (H-TAN) 框架，通过学习形状先验并准确预测不完整物体的掩模，解决了传统方法中依赖两个阶段流程或额外信息的效率问题和潜在错误累积问题，该框架使用双分支结构从图像和掩模提取多尺度特征，通过动态卷积生成每个实例的权重来指导超级变换器学习形状先验，然后使用掩模分支中的特征预测精确的不完整物体掩模，在三个基准数据集上进行了广泛评估并证明了 H-TAN 相对于现有方法的优越性能，额外实验证实了该新型超级变换器在框架中的有效性和稳定性。
amodal object completionshape priorshyper-transformer amodal network (h-tan)dynamic convolutionbenchmark datasets
发现论文，激发创造
  • 野外环境下的无偏实态和补全

    我们研究的问题是不完全图像分割：预测包括可见和不可见（被遮挡）部分的完整对象分割掩膜。我们使用 3D 数据构建了一个自动管道来确定真实的部分遮挡对象的不完全真值分割掩膜，并通过两种架构变体探索了在野外处理不完全完成任务的方法。我们的方法在包括 COCOA 和我们的新 MP3D-Amodal 数据集在内的不完全分割数据集上取得了最新的最好性能。

    Dec, 2023

  • PLUG: 使用基础模型和分层关注重新审视非模态分割

    研究论文旨在通过 SAM 方法提出了一种新的分层焦点框架，应用先验知识进行图像的完整形状预测，提高精度和性能。

    May, 2024

  • 通过渐进混合上下文扩散实现非模态完成

    我们的方法通过在物体边界框外使用其上下文来指导预训练的扩散修复模型，逐步扩展遮挡物体并修剪额外背景，从而克服了两个技术挑战，并在众多成功的修复情况中展现了改进的照片级修复结果。

    Dec, 2023

  • 感知无形：无需提案的全视野不论提取分割

    本文提出了一种无需预测提议、将 amodal mask 分配到不同层级、通过在每一层独立地进行 amodal 实例回归来预测交通参与者及其语义标签的 proposal-free 多标签多类别无缝分割网络，并采用共享骨干和不对称双解码器的 et 架构以及 amodal mask refiner，其在 BDD100K-APS 和 KITTI-360-APS 数据集上的测试表明超越了现有技术水平。

    May, 2022

  • ShapeFormer: 基于形状先验的可见到异模转换器的异模实例分割

    ShapeFormer 是一个基于 Transformer 的模型，它通过 visible-to-amodal 转换来解决 AIS 方法中可见特征与整体特征混淆的问题，包括 Visible-Occluding Mask Head、Shape-Prior Amodal Mask Head 和 Category-Specific Shape Prior Retriever 等关键模块，通过在各种 AIS 基准测试中的全面实验验证了其有效性。

    Mar, 2024

  • 多模态形状补全的条件生成对抗网络

    这篇论文提出了一种用多模式条件生成模型进行多维形状补全的方法，能够消除单一输出方法存在的不确定性以获得更多的结果。通过多个数据集的实验，证明了该方法的多样性和质量。

    Mar, 2020

  • 基于贝叶斯模型的任务外和分布外推广实现的遮挡分割

    本文探讨了利用贝叶斯模型解决神经网络中的物体分割模糊出界问题，通过利用对象的背景和形状作为先验知识来实现模型对训练任务标签的超出范围的推理，并通过应用异常值处理技术来推广到部分被遮挡的对象并预测其模态对象边界。

    Oct, 2020

  • 基于可见区域分割和形状先验的遮挡分割

    提出一个基于形状先验知识的可见可切割分割方法，通过集中在可见区域和内存中的形状先验知识，该方法可以消除背景和遮挡区域的影响，提高分割效果。

    Dec, 2020

  • AMICO：无框实例合成

    本篇论文提出了一种名为 Amodal Instance Composition 的图像组合方法，该方法使用对象形状预测和内容补全模块综合虚拟内容，并提出了一种神经组合模型，以无缝方式混合对象。

    Oct, 2022

  • 非模态追踪任意物体

    通过引入 TAO-Amodal 基准测试数据集，并利用轻量级插件模块，amodal 扩展器，通过数据增强和少量视频序列的微调，我们在 TAO-Amodal 上分别实现了 3.3％和 1.6％对遮挡物体的检测和跟踪改善，并在人物方面相较于现有模态基线实现了巨大 2 倍的改进。

    Dec, 2023