Jul, 2019

SynthText3D: 从三维虚拟世界中合成场景文本图像

PDF
TL;DR本文提出了一种利用 3D 虚拟世界合成场景文本图像的方法，相较之前的方法，此方法可以将 3D 虚拟场景和文本实例作为一个整体进行渲染，并通过随机移动和旋转虚拟摄像机来生成多个视角的相同文本实例，最终实现生成的场景文本图像在场景、光照、遮挡等方面的多样性，得到的生成数据在标准场景文本检测基准测试中表现更加有效和优越。
deep neural networksimage synthesisscene text images3d virtual worldssynthetic data
发现论文，激发创造
  • 从虚幻的世界中合成逼真的场景文本图像

    本文介绍了一种高效的图像合成方法 UnrealText，可通过 3D 图形引擎呈现逼真的图像，包括场景和文本，可以更好地生成文本区域建议，并对场景文本检测和识别的效果进行广泛实验验证。

    Mar, 2020

  • 逼真图像合成用于准确识别场景中的文本

    通过语义一致性合成、视觉显著性确定和自适应文本外观模型等三个创新设计，提出了一种新的图像合成技术，用于生成大量标注数据，以用于训练准确和稳健的场景文本检测和识别模型。五个公共数据集的实验证明了该技术在训练精确和稳健的场景文本检测和识别模型方面的卓越性能。

    Jul, 2018

  • Instant3D：即时文本到三维生成

    提出了一种新的基于文本的 3D 生成框架，名为 Instant3D，使用前向网络在不到一秒的时间内为未见的文本提示创建一个 3D 对象，并解决了 Janus 问题的多头效应。

    Nov, 2023

  • IT3D：通过显式视图合成改进的文本生成 3D 方法

    利用多视角图像和 Diffusion-GAN 方法在 Text-to-3D 技术中生成高质量图像。

    Aug, 2023

  • 基于详细人类中心文本描述的大规模场景合成

    DetText2Scene 是一种新颖的文本驱动大规模图像合成方法，具有高度的忠实度、可控性和自然性，在全局范围内实现了对详细人类中心化文本描述的合成。

    Nov, 2023

  • 使用扩散模型增强场景文本检测器的真实文本图像合成

    通过扩充背景与前景文字的整合，Diffusion Model based Text Generator (DiffText) 创造了一种能生成真实文本图像并优化文本探测器性能的新型合成数据集方法。

    Nov, 2023

  • SceneWiz3D: 进一步实现基于文本引导的 3D 场景合成

    SceneWiz3D 通过引入混合的 3D 表示（对象显式，场景隐式）从文本合成高保真度 3D 场景，并通过粒子群优化技术配置场景布局和自动放置对象，从而实现了详细且视角一致的 3D 场景生成，并通过 RGBD 全景扩散模型来提高几何质量。

    Dec, 2023

  • ViewDiff：利用文本到图像模型的 3D 一致图像生成

    本文提出一种新的方法，利用预训练的文字转图像模型作为先验知识，从真实世界数据中的单个去噪过程中生成多视角图像，并且通过在现有 U-Net 网络的每个块中整合 3D 体渲染和跨帧注意力层，设计出自回归生成方法，在任意视点上呈现更具一致性的 3D 图像。与现有方法相比，我们的方法生成的结果是一致的，并且具有优秀的视觉质量（FID 降低 30%，KID 降低 37%）。

    Mar, 2024

  • 基于文本指导的三维人脸合成 -- 从生成到编辑

    通过文本引导的三维人脸合成，从生成到编辑的统一框架，通过解耦生成几何和纹理来提高几何细节的生成效果，并利用生成几何作为纹理生成的条件，进一步提升几何与纹理的一致性结果；通过预训练扩散模型来更新面部几何或纹理以实现顺序编辑，并引入 UV 域一致性保持正则化以防止对不相关面部属性的无意更改，并提出自导向一致性权重策略以提高编辑效果与保持一致性；通过全面实验展示了该方法在人脸合成方面的优越性。

    Dec, 2023

  • 使用合成数据理解现实世界室内场景的 SceneNet

    本文研究场景理解问题，通过使用计算机图形学生成合成 3D 场景，以解决手动收集大量数据问题，从而避免了收集数据的麻烦和昂贵成本。通过使用深度数据作为输入仅使用 RGB-D 系统的深度数据，我们在 NYUv2 数据集上的表现相当于最先进的 RGBD 系统，并在 SUN RGB-D 数据集上设置了基准。文章还探讨了生成合成图像或视频数据，以及分析影响性能增益的不同因素。

    Nov, 2015