Apr, 2024

增强对象智能：通过 XR-Objects 使模拟世界可交互

PDF
TL;DR通过引入增强物体智能（AOI）这一新颖的 XR 交互范式，结合物体分割和分类以及多模态大型语言模型的能力，提出了一种无缝融合物理对象与交互数字实体的方法，并通过 XR-Objects 系统的设计和实现以及一系列使用案例和用户研究的展示，展现了 AOI 的优势和多样化的应用。
seamless integrationaugmented object intelligencexr interaction paradigmobject segmentationmultimodal large language models
发现论文，激发创造
  • 基于基元的 3D 人物 - 物体交互建模与编程

    提出了一种基于几何原语的三维人体和关节物体交互嵌入方法，使用超椭球作为基本表示，并构建了一个基于原语的三维人体和关节物体交互数据集，实现了机器对三维人体和关节物体交互的重建和识别任务。

    Dec, 2023

  • XAIR：增强现实可解释人工智能框架

    XAIR 是一个设计框架，通过多学科文献综述，大规模调查和专家意见收集，促进人工智能在增强现实中的可解释性，并通过实证研究证实其实用性和效果。

    Mar, 2023

  • 利用遥感图像和多语义信息进行城市功能区检测的多模态学习

    我们提出了一种端到端多模态深度学习算法，用于检测利用遥感图像和多语义参考信息的城市感兴趣区域围栏多边形，通过融合动态人类流动性和物流地址信息的级联模块来评估其时效性。实验结果表明，我们的算法明显优于两种现有方法。

    Jan, 2024

  • 利用人类凝视和增强现实在机器人人机交互中教授未知物体

    通过结合眼动追踪和增强现实技术，本研究通过人机交互方式教授机器人未知物体，使其在 3D 空间中识别和可视化分割对象，并通过学习获得与现有数据集训练的先进对象检测器相当的性能，展示了其多功能和适应性。

    Dec, 2023

  • 面向物体的指导增强机器人操控

    通过引入 “对象中心化指导增强 (OCI)” 框架，将高度语义化和信息密集的语言指导与位置提示相结合，利用多模态大型语言模型 (MLLM) 将物体位置知识编织到自然语言指导中，从而帮助政策网络掌握多样操纵的动作，并通过一系列模拟和现实世界的机器人任务，证明使用我们增强的指令训练的机器人操作策略优于仅依赖传统语言指令的策略。

    Jan, 2024

  • Agent AI：多模态交互视野调查

    多模态人工智能系统中，基于 Agent 的多模态智能研究，通过在真实和虚拟环境中嵌入具有感知能力的智能体，能够处理和解释视觉和语境数据，以提高智能系统的上下文感知和交互能力。

    Jan, 2024

  • 面向元宇宙的安全可信人工智能扩展现实（AI-XR）

    本研究探讨了 AI-XR Metaverse 应用中安全、隐私和可信性方面的挑战，并提出了一套潜在的解决方案来开发安全、私密、稳健和值得信赖的 AI-XR 应用。

    Oct, 2022

  • 可解释的人工智能模型下的自然语言交互

    本文提出了一种解释型人工智能系统（XAI），该系统提供对其预测的解释，并使用预测 And-Or 图（AOG）模型识别和定位输入数据中感兴趣的概念，并使用 XAI 模型在自然语言中为用户提供解释。通过对 YouTube Action 数据集的研究，我们从用户的问题和 XAI 答案之间确定了几种相关性。

    Mar, 2019

  • 动态物体理解：评估人工视觉感知的框架

    本文讨论增强和混合现实中的视觉感知挑战，且探讨了现有评估标准的不足，并提出了新的评估指标以激励和评估这个新兴领域的进步。

    Feb, 2022

  • 评估将增强现实和物联网技术融合以帮助阿尔茨海默病患者的可行性

    利用物联网和增强现实概念创造一种环境辅助生活实施系统，来帮助患有阿尔茨海默症（AD）的人。该系统包括智能手机或 Windows 应用程序和智能眼镜。前者用于监测 AD 患者在家中的状况并在患者处于风险状态时通知看护人员。后者用于识别环境中的二维码，并以格式化音频、文本或三维图像的形式提供相关信息。本文探讨了该系统实施的可能性并报告了初步结果。

    Jan, 2023