Aug, 2023

为虚拟现实中的对话代理赋予声音

PDF
TL;DR在虚拟现实中，通过多模式和沉浸式交互，可以极大地提升与对话代理的对话体验。本研究提出了一种开源架构，旨在简化虚拟环境中工作的对话代理的开发过程。该架构提供了将不同领域的对话代理以及自定义或基于云的语音识别和语音合成模型集成进来使交互具备语音功能的可能性。利用该架构，我们开发了两个对话原型，分别在非沉浸式显示器和虚拟现实头显中在数字健康领域运行。
发现论文，激发创造
  • Voice2Action: 語言模型在虛擬現實中作為高效實時互動的代理

    使用 Voice2Action 框架，在虚拟现实环境中通过分析声音信号和文本命令，进行分级处理和执行任务，以提高效率。

    Sep, 2023

  • 构建虚拟世界：从提示到实现的步骤

    本文介绍了利用大型语言模型进行代码生成的方法，以实现在虚拟现实世界中运用生成过程、计算机协助创作游戏和制作静态内容，同时探讨了如何评估和基准测试由生成模型创建的交互体验以及 AI 辅助共同创作在虚拟现实中的挑战。

    Nov, 2022

  • 利用语言模型在虚拟环境中改善代理间的交互

    通过语言建模，本研究旨在提高 Minecraft 数据集中群体构建任务的任务理解，这些模型集中于基于多模态理解和任务导向对话理解任务，展示了比现有方法大幅改进的实验结果，为未来研究指明了一个有前景的方向。

    Feb, 2024

  • 多模态开放领域对话

    本文旨在研究结合先进的开放域对话代理和视觉模型，以实现多模态对话的目标，研究不同的图像融合方案和域自适应预训练和微调策略，并展示了我们最好的模型不仅在多模态对话方面优于现有的强模型，而且在纯文本对话方面表现也和其前身 BlenderBot 一样好，同时我们还研究并整合了安全组件，展示这种努力不会削弱模型性能方面的吸引力度量。

    Oct, 2020

  • Agent AI：多模态交互视野调查

    多模态人工智能系统中，基于 Agent 的多模态智能研究，通过在真实和虚拟环境中嵌入具有感知能力的智能体，能够处理和解释视觉和语境数据，以提高智能系统的上下文感知和交互能力。

    Jan, 2024

  • VR-GPT：智能虚拟现实应用的视觉语言模型

    本研究介绍了一种创新方法，利用 VR 环境中的 VLMs（Visual Language Models）来增强用户交互和任务效率，通过自然语言处理实现实时、直观的用户交互，不依赖于视觉文本指令。使用语音识别和文本转语音技术，使用户与 VLM 之间实现无缝通信，有效地引导用户完成复杂任务。初步实验结果显示，使用 VLMs 不仅能够缩短任务完成时间，还能提高用户舒适度和任务参与度，相较于传统的 VR 交互方法。

    May, 2024

  • 模仿交互智能

    通过虚拟环境中的交互式训练、行为测试和逆强化学习技术，实现了大规模人类行为模仿，提高了人工智能代理的交互能力，并成功解决了代理评估方面的挑战。

    Dec, 2020

  • 创建多模态代理的模块化架构

    该论文描述了一个灵活且模块化的平台，用于创建多模态交互式代理。该平台通过事件总线运作，不同的传感器和组件可以通过定义它们的输入和输出作为主题来集成，从而实现进一步解释的逻辑工作流程，该交互以多模态数据记录，并在所谓的情节知识图中记录。通过分析记录的交互，我们可以分析和比较不同的代理和代理组件。

    Jun, 2022

  • 聊天机器人系统架构

    本文旨在讨论对话代理程序的系统架构及其各个组成部分，需要应用自然语言处理概念和一些人工智能技术，如深度学习方法，来做出响应决策。

    Jan, 2022

  • 免持操作虚拟现实

    该研究介绍了一种基于语音的自然语言界面，适用于虚拟现实。通过使用经过微调以适应语音相似性和英语口音的深度学习语音转文本模型，将语音音频数据转换为文本，并使用能够适应自然语言多样性的大型语言模型将文本映射为可执行的虚拟现实命令。在一项对 22 名参与者进行的被试内研究中，对 Hands-Free VR 进行了评估，要求参与者找到特定对象并按照不同配置进行放置。结果确认：（1）Hands-Free VR 对于非以英语为母语的参与者和语音相似性具有鲁棒性，语音命令识别正确率达到 96.71%；（2）Hands-Free VR 对于自然语言多样性具有鲁棒性，97.83% 的命令正确映射为可执行命令；（3）Hands-Free VR 在任务完成时间、视点转换次数、视角旋转次数以及左右手移动次数方面与传统虚拟现实界面相比具有显著的效率优势；（4）Hands-Free VR 在易用性、直观性、人体工程学、可靠性和期望度方面获得了较高的用户偏好评级。

    Feb, 2024