Haptic Repurposing with GenAI transforms physical objects into adaptive haptic interfaces for AI-generated virtual assets, enhancing immersive human-computer interactions in Mixed Reality environments and laying a foundation for further research in AI-driven spatial transformation and haptic technologies.

Jun, 2024

通过混合现实技术实现眼动跟踪和评估，为神经退行性疾病提供一种非侵入性的监测方法，以诊断帕金森病为例，通过提取从眼注视分析中得出的临床相关特征，实现对疾病进展和认知功能的可靠评估。

Apr, 2024

本文提出了一种创新的教学模型，利用实时单目视觉和混合现实技术进行手语教学，实现手语语义保留和实时反馈，引入三元系统评估算法进行全面评估，构建基于场景的三维手语教室，并探索场景教学的用户体验。通过提供沉浸式学习体验、先进的姿势重建和精确的反馈，实现了用户体验和学习效果的积极反馈。

Apr, 2024

我们提出了一种新的分层修复 GAN（HI-GAN），它由三个 GAN 组成，EdgeGAN 和 LabelGAN 分别修复边缘图像和分割标签图像，而 CombinedRGBD-GAN 则结合它们的潜在输出并进行 RGB 和深度修复，同时边缘图像和分割标签图像作为辅助输入显著增强了修复性能，并通过分层优化实现了端到端的操作，实验证明 HI-GAN 在整体上表现优于现有方法。

Feb, 2024

使用八叉树结构从已标注点云向未标注点云进行注释传递，通过分析点云间的变化，该方法可以有效地传递注释并解决变化问题，对于自动在两个不同的代表同一实物的点云之间进行标签传递的方法的开发是该项目的主要贡献，该方法对于数据驱动的深度学习算法具有非常重要的意义，因为它还能够实现不确定性传递学习的确定性标签传递。

Feb, 2024

消费者虚拟现实（VR）和混合现实（MR）技术的发展引发了对与 3D 虚拟内容的互动的关注，然而传统的内容创作、编辑和交互技术存在困难。本研究提出了 VR-GS 系统，通过在虚拟现实环境中开发具有物理动力学感知的交互高斯碎片技术，并结合可变形物体的模拟，以实现无缝和直观的用户体验。该系统通过详细的场景重建和物体分割、多视角图像修复，以及基于物理的交互编辑，同时包含实时变形嵌入和动态阴影投射等功能，确保了全面且引人入胜的虚拟体验。

Jan, 2024

医疗程序是医疗交付的重要组成部分，获取操作技能是医学教育的关键组成部分。我们提出了一个混合现实实时通信系统，以增加对操作技能培训的获取，并改善远程紧急援助。我们的系统允许远程专家通过视觉和口头指导本地操作员进行医疗程序。研究结果表明，我们的系统相对于视频会议培训，可以提供更好的视觉交流和新的可能性。

Dec, 2023

通过在计算机图形学、计算机视觉和混合现实等应用中建模真实的手物体相互作用，本研究引入了一种名为 GRIP 的基于学习的方法，从而综合生成符合逻辑的手的运动。通过引入一种新的方法来保证运动的时间一致性并生成一致的交互动作，GRIP 生成了精确的手部姿势，避免手与物体的穿透，实验证明其优于基准方法，并且适用于不同动作捕捉数据集中的不可见物体和动作。

Aug, 2023

苹果在 2023 年的全球开发者大会上推出了 Vision Pro，这是一款混合现实头显，即一种具有额外视频透视功能的虚拟现实设备。该头显通过摄像头将真实世界实时传输到用户眼前的虚拟现实屏幕上，进而实现增强现实功能。该研究旨在探讨 Vision Pro 头显是否能克服医疗领域尤其是增强现实面临的一些临床挑战，并支持临床医生在重要任务中与患者更多地互动。

Aug, 2023

Mixed Reality 在手术中的应用，以及利用 egocentric dataset 进行手部姿态估计的研究，在这个研究中，通过 POV-Surgery 数据集和先进方法的 fine-tune，证明了其在真实手术场景中的普适性。

Jul, 2023