CVPRApr, 2023

基于 Transformer 的物体布置网络 TopNet 用于图像合成

PDF
TL;DR本文提出了一种使用变压器模块和稀疏对比损失函数进行物体放置的图像合成方法，可以实现快速的交互搜索和在实际场景中泛化。
object placementimage compositingtransformer modulesparse contrastive lossself-supervised learning
发现论文，激发创造
  • 上下文感知物体实例合成与放置

    本文提出了一种基于端到端可训练神经网络的方法，以在图像的语义标签地图中插入特定类别的对象实例。该神经网络由两个生成模块组成，一个用于确定插入的对象掩码位置和比例，另一个用于确定对象掩码形状和姿态。两个模块由一个空间变换网络连接并联合训练，该学习过程利用了监督和无监督数据集，实验证明该模型能够在图像中的多个位置插入不同外观的物体，并具有较好的准确性。

    Dec, 2018

  • 用于数据高效的视觉地点识别的回归变换器

    通过将地点识别视为回归问题，使用相机视野重叠作为相似性标准进行学习，使图像描述符与评级相似性标签直接对齐，提高排名能力，同时节省昂贵的重排操作，实现了高效数据训练和在多个基准数据集上的强大泛化。

    Jan, 2024

  • LayoutBERT: 面向物体插入的掩码语言布局模型

    LayoutBERT 提出了一种基于自监督掩蔽语言模型目标和双向多头自注意力的自动图像叠加技术，主要用于解决自动选择对象并在图像中正确放置的难题，并在 COCO、PublayNet 等数据集上取得了较好表现，同时还提供了一个包含 580 万个包括布局注释的图像数据集。

    Apr, 2022

  • 多尺度视觉转换器在弱监督目标定位中的深度聚类引导精炼

    该研究论文提出了一种利用弱监督目标定位来学习物体定位的方法，通过多尺度物体定位变换器（MOLT）和深度聚类引导精化方法提高了定位准确度，并在公开的 ILSVRC-2012 数据集上进行了实验证明了该方法的有效性。

    Dec, 2023

  • TransMatting: 使用 Transformer 增强透明对象抠图

    这篇文章提出了一种基于 Transformer 的网络 ——TransMatting，能够模拟具有大感受野的透明对象。文章重新设计了 trimap，使用三个可学习的三元标记，以引入高级语义特征到自注意机制中。作者还使用一个小型卷积网络来利用全局特征和非背景掩模，指导从编码器到解码器的多尺度特征传播，以维护透明对象的纹理结构。此外，作者还创建了一个高分辨率的透明对象抠图数据集。实验表明，与当前最先进的方法相比，作者提出的方法具有显著的优越性。

    Aug, 2022

  • 使用 Transformer 进行高分辨率复杂场景合成

    该论文介绍了一种基于深生成模型的图像合成方法，通过压缩和离散表示学习高频细节和纹理信息，再结合自回归转换模型生成高质量的图像。

    May, 2021

  • ProNet：学习为级联神经网络提出特定物体边界框

    本文提出了一个名为 ProNet 的基于神经网络的结构，利用图像级注释来高效地实现物体的分类和定位，并在 PASCAL VOC 2012 以及 MS COCO 数据集上进行了实验，超出了之前最先进的技术。

    Nov, 2015

  • 无需训练的位置感知文本到图像合成

    本文提出了一种新的交互式图像生成方案，以定位细粒度为目标，评价了生成模型控制位置的能力，并在图像质量和控制能力方面均表现出超过最先进方法的效果。

    Apr, 2023

  • Pointformer 进行的 3D 物体检测

    本文提出了一种 3D 点云特征学习模型 Pointformer，其中使用局部和全局 Transformer 模块对点云数据进行建模，结合了多尺度特征，以及使用坐标调整模块改善物体提议生成，成功地应用于室内和室外场景下目标检测任务，并取得了显著的性能提升。

    Dec, 2020

  • 基于语义约束匹配的弱监督目标定位 Transformer

    本研究提出了一种基于转换器的新型语义约束匹配网络（SCMN），通过匹配从成对图像中提取的粗糙类激活图（CAMs），从而隐式引导和校准转换器网络以缓解发散激活问题，在 CUB-200-2011 和 ILSVRC 数据集上进行的大量实验结果显示，我们的方法可以达到最新的最优性能，并且在性能上超过之前方法很大幅度。

    Sep, 2023