- 使用神经辐射场重新照明场景中的物体插入
本文提出了一种基于 NeRF 的新型管道,用于将物体 NeRF 插入场景 NeRF,实现新视角合成和逼真的光照重新调整,并支持物体之间的物理交互,如互相投射阴影,通过比较相机视角与光源视角之间的深度图并生成生动柔和的阴影,实现了逼真的光照重 - 4K4DGen:4K 分辨率下的全景 4D 生成
通过引入一种新的管道和技术,我们实现了将单个全景提升为沉浸式 4D 体验,生成 360 度视角下具有 4K 分辨率的全方位动态场景,并提供沉浸式用户体验。
- 稀疏彩码网络:边缘设备上基于实时 RGB 的六维物体姿势估计
我们提出的 Sparse Color-Code Net (SCCN) 是一个清晰简洁的流水线设计,通过利用目标物体的稀疏几何特征加快计算过程,在 RGB 图像上对目标物体进行像素级预测,同时引入了基于像素级几何的物体对称表示方法,有效解决了 - 利用摄像头图像对全景图像进行间接增强现实的强度和纹理校正
通过使用移动设备中的相机图像,增强现实(AR)在旅游推广中越来越受欢迎。然而,游客出现在相机图像中可能会导致相机姿态估计误差,进而产生 CG 不对齐和内容可见性降低的问题。为了避免这个问题,提出了一种不使用实时相机图像的间接 AR(IAR) - AUGlasses:使用低功耗 IMU 在智能眼镜上基于持续动作单元的面部重构
智能眼镜的增强现实技术提供了多种传感器的使用,用于面部重建,通过在脸部的颞部放置惯性测量单元(IMU)来捕捉面部肌肉运动引起的皮肤变形,使用基于变压器的深度学习模型实时估计行为单位(AU)的强度,进而进行面部重建。
- 单目 RGB 相机空间下的三维手部网格恢复
利用虚拟现实、增强现实和手势控制等技术的快速发展,用户期望与计算机界面的交互更加自然和直观。本研究提出了一种网络模型,可从单目 RGB 图像中恢复相机空间中的 3D 手部网格,以实现准确和可靠的绝对空间预测。通过在大规模手部数据集 Frei - 全息图表:通过 LiDAR 增强重建实现实时全息叠加
利用星球大战系列的全息图技术,本文提出一种应用,利用 LiDAR 增强的 3D 重建来实时创建全息叠加层。本文提出了三种高保真重建工具,可在便携设备(如 iPhone 14 Pro)上运行,并能实现度量准确的人脸重建。我的系统可以实现交互式 - 基于深度学习的点云配准用于增强现实引导下的手术
深度学习在增强现实引导手术中的应用可能性进行了评估,通过使用医学成像和基于 HoloLens 2 的点云数据集来研究深度学习点云对图像到患者注册的效果,并发现在具有挑战性的数据集上传统注册流程仍然优于某些深度学习方法。
- 基于运动员追踪和姿态估计的多模态和多视角传感器的体育分析和 VR 观赛系统
本研究首次提出了一种基于虚拟现实和增强现实平台的运动比赛分析和实时可视化系统,通过多视角激光雷达和摄像机采集多模态比赛数据,并利用有限的监督数据进行多参与者跟踪和姿势估计,提取准确的球员位置和运动信息,进一步进行球员三维建模并在虚拟现实和增 - 使用增强现实技术进行脑室腹腔分流手术的可行性研究
该论文探讨了增强现实在医疗行业中的应用,重点研究了基于增强现实的解决方案在脑室 - 腹腔分流手术中的应用,通过创建颅骨和脑室的 3D 模型,实验结果表明该解决方案能够显著减少手术准备时间和手术持续时间。
- 增强现实(AR)在远程工作和教育中的应用
通过系统的文献综述,本研究揭示了增强现实技术在远程工作和教育中的应用潜力和实际效果,并提出了未来发展趋势和进取性研究方向的建议。
- AIGCOIQA2024: AI 生成全方位图像的感知质量评估
建立了一个名为 AIGCOIQA2024 的大规模 AI 生成全景图像 IQA 数据库,并构建了一个综合基准,以评估最先进的 IQA 模型在该数据库上的性能。
- SLIMBRAIN: 增强现实实时获取和处理系统 用于体内外科手术的深度信息高光谱分类绘图
SLIMBRAIN 是一个实时获取和处理增强现实系统,适用于从高光谱信息中分类和显示脑肿瘤组织。该系统在肿瘤切除手术过程中以每秒 14 帧的速度捕获和处理高光谱图像,同时实现癌组织的检测和定位。这种可视化表示与 LiDAR 相机捕捉的 RG - 道路工作区增强现实警示:评估模态对工人反应时间的影响
提高工地工人的道路工区安全措施对于日益老化的公路基础设施以及工区数量的增加具有迫切需求。本研究旨在通过对不同组合的多模态增强现实警告对工人反应时间的影响进行广泛分析,改善道路工区的安全措施。通过在真实环境和虚拟现实环境中模拟道路工区的特殊条 - 可扩展机器人模仿学习的增强现实演示
通过增强现实技术辅助的演示获取框架,该论文提出了一种创新的解决方案,使非机器人专业人员能够使用 HoloLens 2 等设备为机器人模仿学习提供演示,从而实现了可扩展和多样化的真实世界任务演示收集。通过在三个经典机器人任务(到达、推动和拾取 - 推动增强现实中的 6D 姿态估计 — 克服非受控图像的投影模糊
本研究主要解决在增强现实(AR)中准确估计六自由度姿态的挑战,我们提出了一种新颖的方法,通过分解 z 轴平移和焦距的估计,利用 FocalPose 架构中内置的神经渲染和比较策略,从无控制的 RGB 图像中准确估计六自由度姿态,并显著提高了 - Vox-Fusion++:基于体素的神经隐式密集跟踪与多地图建图
介绍了 Vox-Fusion++,一个利用神经隐式表示和传统体积融合技术进行多地图鲁棒稠密跟踪和建图的系统,并应用于实际场景,通过综合评估表明在重建质量和准确性方面优于以往方法,可用于增强现实和协作建图应用。
- 单目显微镜到 CT 图像配准:基于镫骨位姿估计的增强现实耳蜗植入手术
通过进行 2D 到 3D 的注册和姿态估计,我们提出了一种不需要外部追踪设备,而可以将显微镜视频直接与术前计算机断层扫描(CT 扫描)进行配准的方法,从而为增强现实手术提供了准确且精确度较高的效果。
- ARTiST:增强现实中的任务指南自动文本简化
提供实时信息的增强现实中的文本对用户来说往往难以快速理解,特别是当它们在头戴显示器上呈现时。本文提出了 ARTiST,一种利用少样本提示和 GPT-3 模型来优化增强现实文本长度和语义内容的自动文本简化系统。经过包括七个用户和三位专家在内的 - 人体形状与服装估计
该研究综述了人体形状和服装估计领域的重要工作,主要关注人体形状估计、时尚生成、关键点检测和属性识别四个方面,并讨论了最新发展、优点、局限以及方法和结果的定性差异,旨在提供对该领域的全面理解并激励未来的研究。