Nov, 2023

PolyMaX：基于 Mask Transformer 的通用密集预测

PDF
TL;DR通过泛化基于簇预测的方法，将密集预测任务与掩膜变换器框架统一，我们提出的模型 PolyMaX 在 NYUD-v2 数据集的三个基准测试中展现了最先进的性能。
dense prediction tasksper-pixel predictioncluster-predictionmask transformerspolymax
发现论文，激发创造
  • 密集变换网络

    本研究提出了密集变换网络的构建方法，设计了不同于之前需要输入图像分割大小的神经网络结构，通过对使用高分辨率像素预测的自适应分割进行了验证，证明该方法在图像分割任务中取得了更好的表现。

    May, 2017

  • K 均值掩码转换器

    本文研究了 transformers 在图像识别中的应用，提出了一种基于聚类的 k-means Mask Xformer (kMaX-DeepLab) 模型，在多项数据集上均取得了新的最佳表现，为以后的视觉任务中 transformers 的设计提供了参考。

    Jul, 2022

  • 全分辨率 MLP 加强医学密集预测

    本研究针对医学图像恢复、配准和分割等医学视觉任务中的密集预测问题，提出了一种以多层感知器为基础的全分辨率分层框架，通过利用全图像分辨率下的组织级纹理信息，该框架可以在医学图像上实现长程依赖关系，并在多个公共数据集上的广泛实验中展示出超越卷积神经网络和 Transformer 的最先进性能。

    Nov, 2023

  • TensorMask: 基于张量的密集物体分割基础

    本文研究了密集滑动窗口实例分割的范例，将其作为 4D 张量预测任务，提出了一种称为 TensorMask 的通用框架，可以明确捕获几何信息和使预测更加准确，比现有的模型具有更好的性能表现。

    Mar, 2019

  • MaX-DeepLab: 带有 Mask Transformer 的端到端全景分割

    紧集分割的最新技术 MaX-DeepLab 使用全新的端对端方法，通过双向 CNN 信道和双倍展开使大规模各类实例的分割更准确。

    Dec, 2020

  • 稠密预测的视觉 Transformer

    本文提出了稠密视觉 Transformer（dense vision transformers）作为密集预测任务的主干网络，相对于全卷积网络，该结构以恒定和较高的分辨率处理表示，并在每个阶段具有全局感受野。在单眼深度估计和语义分割任务上，我们的实验表明，该结构在有大量训练数据的情况下能够显着提高性能，是一种大有前途的新型神经网络结构。

    Mar, 2021

  • 基于 Transformer 的注意力网络用于连续像素智能预测

    本文提出的 TransDepth 是一种结合了卷积神经网络和 Transformers 的像素预测模型，使用基于门的注意力机制避免了网络对局部细节的损失，并在三个具有挑战性的数据集上取得了最先进的性能。

    Mar, 2021

  • 对比多任务密集预测

    本文提出了一种基于特征对比一致性的多任务对比正则化方法，以解决多任务密集预测的跨任务交互建模问题，并在两个数据集上进行了大量实验，展示了该方法在密集预测方面的优越表现，创立了新的最先进性能。

    Jul, 2023

  • 像素级分类不是语义分割所需的全部

    提出了基于掩膜分类模型的方法 MaskFormer，通过预测一组二进制掩膜，使语义分割和全景分割任务的解决变得统一，并在各项指标上实现了优秀的实验结果。

    Jul, 2021

  • MaskConver: 重访用于全景分割的纯卷积模型

    该研究论文提出了一种名为 MaskConver 的新型全景分割架构，通过预测物体和背景的中心来实现事物和物质的完全统一表示。通过引入 ConvNeXt-UNet 解码器，该模型在 COOC 全景验证集上相比基于卷积和 transformer 的模型以及现代基于卷积的模型和 transformer-based models 取得了更好的性能，此外，优化后的 MaskConver 在移动设备上实时运行，并在相同 FLOPs / 延迟限制下提高了 6.4% 的 PQ 值。

    Dec, 2023