Nov, 2023

DeepMetricEye: 周边眼深度虚拟现实成像的度量估计

PDF
TL;DR虚拟现实头戴设备往往导致用户出现不良影响，如数字视疲劳、干眼症以及潜在的长期视力损害。为了解决测量问题，本研究提出了一种基于 U-Net 3 + 深度学习模型的轻量级框架，可以估计可测量的眼周深度图。该方法适用于任何配备有面向眼部的单眼摄像头的 VR 头戴设备，可以重建三维眼周区域，为相关光刺激计算协议和医疗指南提供度量基础。通过使用 UE MetaHuman 创建的动态眼周数据生成环境，我们合成了数千个训练图像。在 36 名参与者的样本上评估了我们的方法，在眼周全局精度评估实验和瞳孔直径测量方面表现出显著的效果。
vr headsetsadverse effectsocular feature mapsperiocular depth mapsdynamic periocular data generation
发现论文，激发创造
  • 单目深度估计和 3D 物体检测的深层光学

    本文介绍了深层光学的概念，通过编码式的散焦模糊作为额外的深度线索，以端到端设计的光学和图像处理结合来解决单张图像的深度估计问题，提出了几种光学编码策略，并针对三个数据集进行了深度估计的端到端优化方案评估，结果表明在自由镜面设计方面得到了最佳结果，同时，使用单片透镜的色差也可以实现显著的改善深度估计性能，我们构建了一个物理原型，并验证色彩象差改善了在真实世界中的深度估计结果。此外，我们还在 KITTI 数据集上训练了物体检测网络，并表明为深度估计优化的镜头也导致改进了 3D 物体检测性能。

    Apr, 2019

  • NDDepth：正态 - 距离辅助单目深度估计

    基于物理驱动的深度学习框架用于单目深度估计，通过假设 3D 场景由分段平面组成，提出了一种新的正常 - 距离头来推导每个位置的深度，同时，通过开发的面感知一致性约束对正常和距离进行规范化，并引入了额外的深度头来改善框架的鲁棒性，利用有效的对比迭代细化模块根据深度的不确定性互补地对深度进行精细化改进，实验证明该方法在 NYU-Depth-v2、KITTI 和 SUN RGB-D 数据集上超过了现有的最先进竞争方法，值得注意的是，它在 KITTI 深度预测在线基准测试中的提交时间中排名第一。

    Sep, 2023

  • 从二维到三维：重新思考单眼深度预测的基准测试

    本研究提出了适合评估单目深度预测方法三维几何质量的一组度量标准和室内基准测试 RIO-D3D，并展示了其对于评估三维场景完整性的紧密关联任务的帮助。

    Mar, 2022

  • METER：用于单目深度估计的移动视觉变换器架构

    深度估计是自主系统评估自身状态和感知周围环境所需的基本知识。本文提出了一种新的轻量级视觉变换器架构 METER，用于嵌入式设备上的单目深度估计，能够在 NVIDIA Jetson TX1 和 NVIDIA Jetson Nano 等受限硬件上实现最先进的估计和低延迟推断性能。

    Mar, 2024

  • 利用近场照明从内窥镜视频进行单目深度估计

    本论文介绍了在内窥镜图像中利用光度线索提高单目深度估计的方法，并通过使用自监督和监督训练的方法，结合教师 - 学生迁移学习，实现了对内窥镜图像的高质量深度估计。

    Mar, 2024

  • UniDepth: 通用单目度量深度估计

    通过提出的 UniDepth 模型，我们能够从单个图像中重建度量 3D 场景，并实现相机驱动的深度特征的不变性。

    Mar, 2024

  • 结合眼动跟踪、软件视网膜和深度学习的高效自我中心视觉感知

    本文介绍了利用生物学方法实现高效自我中心感知的持续性工作，将哺乳动物视网膜的空间变体成像结构与深度学习方法相结合，在控制眼动眼镜的凝视位置的情况下，我们演示了将图像预处理为因子 3 的 DCNN 输入，减少必需训练的时期并在 26,000 多个物体的图像库上训练和验证系统时可获得超过 98% 的分类准确率。

    Sep, 2018

  • 基于深度学习的单目深度估计：综述

    该研究对基于深度学习的单张图像深度估计方法进行了调研，总结了常用的数据集、评价指标和不同的训练方式，并讨论了未来研究中的挑战和方向。

    Mar, 2020

  • 通过基于学习的眼高自适应提升预捕获环境的感知与沉浸

    基于全景相机的预捕获沉浸式环境提供了广泛的虚拟现实应用。先前的研究表明，在自我中心的虚拟环境中操纵眼高可以显著影响距离感和沉浸感。然而，由于在捕获过程完成后改变视角的困难，对于预捕获的真实环境中的眼高的影响付诸较少关注。为了探索这种影响，我们首先提出了一个小型研究，用多个眼高捕捉真实环境，并要求参与者评估自我中心的距离感和沉浸感。如果确认存在显著影响，则需要一种有效的基于图像的方法来适应用户的眼高。受这个研究的启发，我们提出了一种基于学习的方法，用于合成具有不同眼高的全景图像的新视角。该方法采用多任务架构，在两种格式中学习深度和语义分割，并生成高质量的深度和语义分割以促进修复阶段。通过改进的全景感知分层深度图像，我们的方法为眼高适应合成自然而逼真的视觉效果。定量和定性评估显示出与最先进的方法相比有利的结果，并进行了大规模用户研究以验证对预捕获的真实环境的感知和沉浸的改进。

    Aug, 2023

  • VRBiom：HMD 生物特征识别应用的新型眼周数据集

    通过提供 VRBiom 数据集，该研究论文介绍了一种针对生物特征应用的新型虚拟现实头戴设备数据集，包含用于虹膜和周眼识别等生物特征应用的非传统视角的短视频，使得在硬件发展和生物特征应用研究方面取得进展成为可能。

    Jul, 2024