CVPRJun, 2019

指甲油试穿：本地和浏览器智能手机 AR 应用的小物体实时语义分割

PDF
TL;DR本文提供了一个小物体的语义分割系统，使指甲油试色 AR 应用程序可以在本地和 web 手机应用程序中实时运行。通过调整输入分辨率和神经网络深度，我们的模型设计实现了性能和运行时间的平滑折衷，最高性能设置在 iPad Pro 上的本地应用程序中以 29.8 毫秒的运行时间实现了 94.5 mIoU。我们还提供了一个指甲油试色的后处理和渲染算法，该算法与我们的语义分割和指甲基部 - 顶部方向预测相结合。
发现论文，激发创造
  • 移动设备上实时深度头发抠图

    该研究使用改进的 MobileNet CNN 技术，以快速准确的方式对头发进行分割，实现了在美容行业中实时增强发色的目标。

    Dec, 2017

  • 移动 GPU 实时头发分割与重新上色

    提出了一种针对实时移动应用的基于神经网络的头发分割新方法，其相对较小的神经网络可在移动 GPU 上实现实时推理速度（视设备而定的 30-100+ FPS），同时保证高精度，并提出了一种高度逼真的头发重染方案，已在主要 AR 应用程序中部署并被数百万用户使用。

    Jul, 2019

  • SemanticPaint：一个用于交互式分割三维场景的框架

    本文介绍了 SemanticPaint 的实时开源实现，它能够实现几何重建、对象类别分割和 3D 场景学习；用户可以在佩戴深度相机和虚拟现实头戴设备的情况下，与真实场景进行物理交互并为场景中的对象分配标签，使用在线随机森林机器学习算法对先前未见过的场景部分进行预测，整个过程在实时运行中实现。

    Oct, 2015

  • AR 室内场景的实时光估计与神经软阴影

    我们提出了一个用于将虚拟对象逼真地嵌入到室内场景中的流程，重点关注实时增强现实应用。我们的流程包括两个主要组件：光估计器和神经软阴影纹理生成器。我们的光估计基于深度神经网络，确定主光方向、光颜色、环境颜色和阴影纹理的不透明度参数。我们的神经软阴影方法将基于物体的逼真软阴影编码为与光方向相关的纹理，存储在一个小型的多层感知机中。我们展示了我们的流程可以在实时中将对象融入增强现实场景中，实现新的逼真程度。我们的模型足够小，可以在现有的移动设备上运行，我们在 iPhone 11 Pro 上实现了 9ms 的光估计和 5ms 的神经阴影运行时间。

    Aug, 2023

  • 野外交互式视频对象分割

    本文介绍一种基于人工交互的视频对象分割方法，使用深度学习技术进行交互式图像分割，并应用于视频对象分割中。在 GrabCut 数据集上，我们的方法以仅需 3.8 次点击的平均值获得 90％的 IOU，与当前最先进的方法相比，具有更高的准确性。此外，我们研究了用户的使用模式和提供的纠正类型等，为进一步改进交互式视频分割提供重要的见解。

    Dec, 2017

  • 使用合成训练，在 HoloLens 上检测和估计工业平面、无纹理物体的姿态

    通过合成数据训练的客户端服务器基于增强现实的应用，展示了在边缘设备上对金属和无纹理工业物体进行最先进的姿态估计。定性评估一个 AR 辅助的分类任务，以及对渲染结果和在 HoloLens 2 上记录的真实世界数据的定量评估揭示了其在真实世界中的适用性。

    Feb, 2024

  • 手动装配场景下近实时自我中心感知中的小物体检测

    通过利用环境背景和 CAD 数据，基于 YOLOv4 模型的两阶段检测流程，研究在 Microsoft Hololens 2 等增强现实设备中实现小物体检测的方法。

    Jun, 2021

  • DreamPaint: 基于小样本的电子商务物品修复算法，用于虚拟试穿，无需 3D 建模

    DreamPaint 是一种无需 3D 建模，可以智能地将电子商务产品插入到用户提供的上下文图像中进行虚拟试穿的方法，使用了预训练的扩散模型和补全模块，并且在主观和量化指标方面都表现出优越的性能。

    May, 2023

  • 室内场景实时渐进式 3D 语义分割

    本文提出了一种高效而健壮的技术，实现了 3D 室内场景的即时密集语义分割和重建，该方法基于高效的超体素聚类方法和来自结构和对象线索的高阶约束的条件随机场，无需预先计算即可进行渐进式密集语义分割。通过对 SceneNN 和 ScanNet 数据集中的不同室内场景进行广泛评估，证明了该技术在定性和定量实验中始终能够产生最先进的分割结果。

    Apr, 2018

  • 多兆像素图像中微小物体的交互式分割和可视化

    介绍了一个互动的图像分割和可视化框架，用于识别、检查和编辑大型多兆像素高动态范围（HDR）图像中微小物体 (仅有几个像素宽)，特征集不仅适用于天文数据，而且可以成为科学领域 (如生物医学、材料科学、遥感等) 和计算机视觉中人机协同小物体分割的有用研究支持工具。该工具可以方便地托管在 Web 上，为任何设备提供多用户访问和 GPU 加速。

    Apr, 2022