Dec, 2018

上下文感知物体实例合成与放置

PDF
TL;DR本文提出了一种基于端到端可训练神经网络的方法，以在图像的语义标签地图中插入特定类别的对象实例。该神经网络由两个生成模块组成，一个用于确定插入的对象掩码位置和比例，另一个用于确定对象掩码形状和姿态。两个模块由一个空间变换网络连接并联合训练，该学习过程利用了监督和无监督数据集，实验证明该模型能够在图像中的多个位置插入不同外观的物体，并具有较好的准确性。
object insertionneural networkgenerative modulesspatial transformationsupervised and unsupervised learning
发现论文，激发创造
  • 基于 Transformer 的物体布置网络 TopNet 用于图像合成

    本文提出了一种使用变压器模块和稀疏对比损失函数进行物体放置的图像合成方法，可以实现快速的交互搜索和在实际场景中泛化。

    Apr, 2023

  • 看见看不见的：语义放置的视觉常识

    通过自动化处理网络数据生成一组数据集，其中包括了有和没有对象的图像，并使用该数据集构建了一个名为 CLIP-UNet 的 SP 预测模型，该模型在真实和模拟图像上超过了现有的视觉语义模型和基线，并证明了其在室内环境中构建整洁机器人等下游应用的潜力。

    Jan, 2024

  • 关于场景理解中数据增强的视觉上下文重要性

    在通常正常的数据增量中增加特定任务需求的先验知识，在对象检测语境下，通过利用卷积神经网络来预测图像中可以放置物体的区域，同时仅使用有限的数据集，通过弱监督学习得到显著的提高。

    Sep, 2018

  • 简单剪贴与学习：惊人易用的实例检测综合

    本文提出一种简单的方法，通过数据合成技术来生成大规模、带注释的数据集，从而避免因缺乏原始数据而导致检测模型性能下降的问题，并表明该方法的使用可以提高模型的性能和泛化能力。

    Aug, 2017

  • 室内场景物体检测训练数据的合成

    本文探讨了使用合成图像训练最先进的对象检测器，特别是针对对象实例检测。我们在实际环境的图像中将纹理对象模型的 2D 图像叠加在一起，以便在各种位置和比例上进行训练。通过这些实验，我们证明了利用现有的对象模型仓库为新对象训练检测器的新机会。

    Feb, 2017

  • 面部图像合成的语义部件自动生成

    该研究提出了一种网络结构，可以自动操纵或生成图像物体类别的语义分割掩码，尤其关注人脸的形状操纵，通过嵌入类别到潜在空间并使用双向 LSTM 块和卷积解码器，可以独立地编辑每个类别的嵌入向量以输出一个新的本地操作后的掩码，这项研究结果定量和定性地表明该模型享有较高的生成多样性和控制能力。

    Jul, 2023

  • 无需训练的位置感知文本到图像合成

    本文提出了一种新的交互式图像生成方案，以定位细粒度为目标，评价了生成模型控制位置的能力，并在图像质量和控制能力方面均表现出超过最先进方法的效果。

    Apr, 2023

  • 通过神经分析合成实现类别层级物体姿态估计

    本文提出了一种基于图像合成模块和基于梯度的拟合过程相结合的方法，能够通过显式地表示个别物体实例的需求，来隐式地表示整个物体类别的外观、形状和姿态，从而无需每个物体实例都有一个显式的 CAD 模型。该方法包括图像合成台阶、对应误差度量的拟合台阶和对输入参数的反向传播优化台阶，且实验证明该方法可以仅通过 2D 图像就能准确地恢复物体的方向和全姿态。

    Aug, 2020

  • 利用对象级先验学习语义对应关系

    研究使用二进制前景掩码并经过合成几何变形的图像来训练卷积神经网络（CNN），以解决语义对应问题，提出了一种新的 CNN 体系结构（称为 SFNet），其实现了这一想法，并展示了在标准基准测试中明显优于现有技术的实验结果。

    Nov, 2019

  • LayoutBERT: 面向物体插入的掩码语言布局模型

    LayoutBERT 提出了一种基于自监督掩蔽语言模型目标和双向多头自注意力的自动图像叠加技术，主要用于解决自动选择对象并在图像中正确放置的难题，并在 COCO、PublayNet 等数据集上取得了较好表现，同时还提供了一个包含 580 万个包括布局注释的图像数据集。

    Apr, 2022