- 基于 GenAI 的触觉重新利用
Haptic Repurposing with GenAI transforms physical objects into adaptive haptic interfaces for AI-generated virtual asset - 混合现实眼动追踪在神经退行性疾病诊断中的应用
通过混合现实技术实现眼动跟踪和评估，为神经退行性疾病提供一种非侵入性的监测方法，以诊断帕金森病为例，通过提取从眼注视分析中得出的临床相关特征，实现对疾病进展和认知功能的可靠评估。
- 利用混合现实技术进行中国手语教学
本文提出了一种创新的教学模型，利用实时单目视觉和混合现实技术进行手语教学，实现手语语义保留和实时反馈，引入三元系统评估算法进行全面评估，构建基于场景的三维手语教室，并探索场景教学的用户体验。通过提供沉浸式学习体验、先进的姿势重建和精确的反馈 - HI-GAN: 层次修复生成对抗网络用于合并的 RGB 和深度修复
我们提出了一种新的分层修复 GAN（HI-GAN），它由三个 GAN 组成，EdgeGAN 和 LabelGAN 分别修复边缘图像和分割标签图像，而 CombinedRGBD-GAN 则结合它们的潜在输出并进行 RGB 和深度修复，同时边缘 - VR-GS：一种虚拟现实中的物理动态感知互动高斯喷洒系统
消费者虚拟现实（VR）和混合现实（MR）技术的发展引发了对与 3D 虚拟内容的互动的关注，然而传统的内容创作、编辑和交互技术存在困难。本研究提出了 VR-GS 系统，通过在虚拟现实环境中开发具有物理动力学感知的交互高斯碎片技术，并结合可变形 - 用于医疗程序的混合现实通信：插入中心静脉导管的教学
医疗程序是医疗交付的重要组成部分，获取操作技能是医学教育的关键组成部分。我们提出了一个混合现实实时通信系统，以增加对操作技能培训的获取，并改善远程紧急援助。我们的系统允许远程专家通过视觉和口头指导本地操作员进行医疗程序。研究结果表明，我们的 - GRIP: 使用潜在一致性和空间线索生成交互姿态
通过在计算机图形学、计算机视觉和混合现实等应用中建模真实的手物体相互作用，本研究引入了一种名为 GRIP 的基于学习的方法，从而综合生成符合逻辑的手的运动。通过引入一种新的方法来保证运动的时间一致性并生成一致的交互动作，GRIP 生成了精确 - Apple 视界医疗：终极显示器？
苹果在 2023 年的全球开发者大会上推出了 Vision Pro，这是一款混合现实头显，即一种具有额外视频透视功能的虚拟现实设备。该头显通过摄像头将真实世界实时传输到用户眼前的虚拟现实屏幕上，进而实现增强现实功能。该研究旨在探讨 Visi - POV-Surgery: 在手术活动期间，用于自我中心手部和工具姿态估计的数据集
Mixed Reality 在手术中的应用，以及利用 egocentric dataset 进行手部姿态估计的研究，在这个研究中，通过 POV-Surgery 数据集和先进方法的 fine-tune，证明了其在真实手术场景中的普适性。
- 融合模型：朝着虚拟、物理和认知的整合及其原则
本研究介绍了一种融合模型，即融合宇宙（FU），该模型将虚拟世界、物理世界和认知世界融合在一起。本文研究了涉及沉浸式和交互式体验的几个方面，并提出了融合宇宙的基本原则，可以将物理世界和虚拟世界无缝地融合在一起。
- 情感计算综述：挑战、趋势、应用和未来方向
本文介绍情感计算的重要性、方法和结果，着重探讨了机器学习和混合现实在情感计算中的应用，研究了最新的方法和数据资源，并讨论了情感计算在各种应用领域中的显著影响，从而帮助未来学者更好地理解情感计算的重要性和实用性。
- ArK：具备知识交互新兴能力的增强现实
研究了一种基于知识记忆的增强现实与知识推理交互机制（ArK），利用通用的基础模型将知识记忆从一个领域转移到另一个领域，使得机器学习 agent 在未知情况下可以生成高质量 2D/3D 场景，证明了增强现实技术在深度学习中的潜力。
- BoDiffusion：用于全身人体运动合成的稀疏观测扩散
本研究提出了一种名为 BoDiffusion 的生成扩散模型，用于解决头戴式设备只能追踪头部和手部运动的局限，通过条件序列生成任务模拟全身运动，实验表明该模型在运动合成方面的性能优于现有模型。
- CVPR可交互辐射场分割
本文提出了 ISRF 方法，该方法可以与尝试从 RF 中分割复杂对象的先前分割方法相比，交互性地分割带有细微结构和外观的对象，并可用于新视图合成、多个场景中的对象分割等应用。
- 基于热力学的神经网络用于物理现实混合现实
本文介绍了一种基于深度学习的方法，用于计算混合现实中用户实时交互引起的（可能是非线性和耗散性的）可变形物体的动态响应，以保证虚拟世界的正确性和真实性。两个具体示例证明了该方法的高效性。
- MR4MR: 混合现实下的旋律转世
本文描述了一项名为 MR4MR 的声音安装作品，它允许用户在混合现实环境下与周围空间互动，以此产生一种重生的环境旋律。
- 基于采样、通信和预测协同设计的元宇宙中现实设备和数字模型同步化
该研究提出了一种基于采样，通信和预测的元宇宙设备同步设计框架，通过利用专家知识和开发知识辅助的约束双延迟深确定性策略梯度算法实现最小化通信负荷目标，优化采样率和预测时间，从而在真实设备和元宇宙数字模型之间实现最小均方误差跟踪。
- ECCVAvatarPoser: 从稀疏动作感知中获取关节化全身姿势跟踪
AvatarPoser 是第一个仅使用用户的头部和手部运动输入来预测世界坐标中全身姿势的基于学习的方法，具有较高的准确性和实时操作速度，并能够提供支持 Metaverse 应用的全面性化虚拟人物控制和表现的实用界面。
- ECCV在线多传感器深度融合学习
本文介绍了一种名为 SenFuNet 的深度融合方法，该方法通过在线学习传感器特定的噪声和异常值统计，并以在线方式将不同传感器的深度帧数据流合并。实验结果表明，相比传统方法和最近的在线深度融合方法，SenFuNet 的融合策略表现更好。多传 - CVPRBNV-Fusion: 使用双层神经体积融合进行密集三维重建
本篇论文提出了一种基于神经隐式表达和神经渲染的双层神经体积融合方法，用于增量式地将新的深度图像融合到全局神经隐式表示中，以实现密集的 3D 重建，评估表明此方法在多个数据集上均得到了显著的改进。