KDDJun, 2020

3D 产品放置广告制作系统

PDF
TL;DR该研究提出了一个名为 Adverts 的框架，可以感知场景和摄像机运动的三维几何形态，将 3D 虚拟物体混合到视频中以创建现实幻觉来推广产品。该框架包含多个模块，可以解决不同的技术难题。实验结果表明 Adverts 框架在通过混合现实技术融合内容上具有巨大潜力，可以推动广告业的发展。
发现论文，激发创造
  • 置入任何物品的视频

    一种名为 Place-Anything 的新颖且高效的系统，通过仅基于目标物体或元素的图片或文本描述实现将任何物体插入任何视频，提供了一种有效的解决方案来生成和编辑高质量的视频。

    Feb, 2024

  • 广告植入候选空间数据集

    本研究的目标是通过提出视频框架中的候选空间，辅助视频编辑器生成增强的个性化内容。我们提出并发布了一个大规模的室外场景数据集，以及手动注释的候选空间地图，并在该数据集上对多个基于深度学习的语义分割算法进行了基准测试。

    Mar, 2019

  • 图像与视频广告自动理解

    本文提出了自动广告理解的问题，并基于两个数据集进行了研究，包含主题和情感、问题和答案、符号引用以及广告使用的最常见的说服策略等多种注释。对于多个预测任务，包括自动回答广告信息问题，我们提供了基线分类结果。

    Jul, 2017

  • 三维感知视频生成

    本文探讨了生成对抗网络 (GANs)，将神经隐式表示与时间感知区别器相结合，发展了一种 GAN 框架，仅用单目视频合成了 3D 视频，能够学习可分解的 3D 结构和运动的丰富嵌入，实现了新的时空渲染视觉效果，同时也能产生与现有 3D 或视频 GANs 相媲美的图像质量。

    Jun, 2022

  • 3D 物体合成的自动场景推断

    本文提出了一种基于深度学习的图像编辑系统，支持拖放插入物体、后期光照和景深编辑。通过一种全自动的技术实现从单张低动态范围照片恢复包括几何、光照、漫反射和相机参数在内的全面的三维场景模型。研究结果表明，这个系统可以产生令人信服的结果，达到需要大量用户交互的技术相同的真实感水平。

    Dec, 2019

  • 应用于增强现实的即时 3D 物体跟踪

    本篇研究提出使用深度神经网络和可靠的平面追踪技术结合，实时追踪物体的姿态，而无需传感器的预先校准或初始化，实现在移动设备上执行相对尺度 9 自由度跟踪。

    Jun, 2020

  • 针对视觉环境重建的人类感知物体放置

    通过利用人与场景的交互可有效提高单目视频的 3D 场景重建，同时优化人的姿态估计，本论文基于三种 HSI 约束条件，即深度排序、是否穿插目标、接触面，使用优化方法再形成一致、物理合理且功能性 3D 场景布局，并对其在 PROX 和 PiGraphs 数据集上进行定量定性评估。

    Mar, 2022

  • 基于 AI 的上下文广告：技术报告和影响分析

    研究了程序化广告和语境广告并结合人工智能技术的应用，探讨了它们在广告投放和广告竞价策略优化方面的影响，同时指出了相关的合规和伦理问题。

    May, 2022

  • OCTOPUS: 使用语义理解在混合现实中进行开放词汇内容跟踪和对象放置

    本研究旨在解决增强现实中虚拟内容的放置问题，通过引入一种新的开放词汇方法，利用分割模型、视觉 - 语言模型和 LLMs 的最新进展，在任何增强现实场景中的相机镜头下放置任何虚拟物体，并通过初步的用户研究表明，我们的方法在 57％的时间内至少与人类专家表现相当。

    Dec, 2023

  • 任何场景中的任意物体：照片般逼真的视频物体嵌入

    提出了一种适用于现实视频模拟的通用框架，该框架通过整合真实对象、估计天空和环境光照分布、以及使用风格转移网络来实现几何真实性、光照真实性和照片真实性的增强，从而有效且经济地获得高质量的视频。

    Jan, 2024