Feb, 2024

将大型语言模型嵌入扩展现实：包容、参与和隐私的机遇与挑战

HTML
PDF
TL;DR利用大型语言模型将其嵌入虚拟化身或以其作为叙述形式，可通过根据用户配置文件进行提示工程和为特定目的进行微调，促进XR的更包容性体验，并通过与用户进行对话来增强XR环境的互动性，但需要研究隐私侵犯问题以及用户的隐私关注和偏好。
发现论文，激发创造
  • LLMR：使用大型语言模型实时提示交互式世界

    通过使用Unity游戏引擎和文本交互，我们提出了大型混合现实语言模型（LLMR）框架，该框架用于实时创建和修改交互式混合现实体验，并通过包括场景理解、任务规划、自调试和内存管理等技术，使LLMR在平均错误率上比标准GPT-4提高了4倍。通过多个示例场景的展示、创作和修改任务的评估以及一个使用性研究，我们证明了LLMR具有跨平台的互操作性，并且参与者对系统有积极的体验并愿意再次使用。

    Sep, 2023

  • AtomXR: 自然语言和沉浸式物理交互的简化XR原型设计

    AtomXR是一种简化、沉浸式、无代码的XR原型工具，通过自然语言、眼动和触摸交互，为经验丰富和经验不足的开发人员创建应用程序，提供了显著的速度和用户体验改进。

    Nov, 2023

  • 大语言模型时代的以人为中心的隐私研究

    基于大型语言模型的系统，在用户隐私方面存在问题，需要更多关注人类隐私问题的研究，包括设计范例对用户的行为披露、用户心智模型和隐私控制偏好的影响，以及赋予终端用户对个人数据的拥有权的工具设计，在此基础上构建可用、高效、具有隐私友好性质的系统。本文旨在启动关于人类隐私问题研究的讨论，为基于大型语言模型的系统中的隐私问题制定议程。

    Feb, 2024

  • 我们中的语言生成机器人：生成型人工智能参与数字交流

    在Mastodon社交媒体平台上，我们使用了“LLMs Among Us”实验框架构建了10个角色来研究大型语言模型的潜力和威胁，发现参与者只有42%的准确率能识别出其他用户的真实性。此外，我们还发现角色的选择对于人的感知影响比主流大型语言模型的选择更大。

    Feb, 2024

  • LangSuitE：在具体文本环境中规划、控制和交互大型语言模型

    通过介绍一种新的多用途无仿真测试平台LangSuitE以及一种新的思维链式(schema)EmMem来评估大型语言模型在动态交互环境中作为少样本或零样本具有实体的智能体的效果和挑战，该研究对于建立语言模型背景下的具有实体特征的普适性智能体代表了重要的进展。

    Jun, 2024

  • LLM角色扮演：模拟人机交互

    本文提出了LLM-Roleplay：一种面向目标的、基于人物角色的自动生成多样化多轮对话的方法，通过大型语言模型扮演描述人物的角色，从而模拟人与聊天机器人的互动对话。通过收集不同社会人口群体的自然人-聊天机器人对话数据，并进行人类评估，发现我们的方法能够以高可分辨率模拟人-聊天机器人对话。

    Jul, 2024

  • 大型语言模型的秘密使用

    本研究解决了用户在使用大型语言模型时可能造成的透明度缺失问题。通过混合方法的探索性调查和控制实验，发现用户的秘密使用行为主要受特定任务的影响，且影响用户意图的关键是外部评判感知。本研究为未来促进更透明的AI技术使用提供了重要的设计干预见解。

    Sep, 2024

  • 分析大语言模型辅助3D场景操作的多模态互动策略

    本研究解决了大语言模型(LLM)在3D内容创作中的用户行为分析问题，通过实证用户研究发现了LLM辅助3D场景编辑中的常见互动模式和主要障碍。研究提出了改善3D设计工具自然语言接口的机会和设计建议，表明LLM辅助的交互系统能够在沉浸式环境中有效使用。

    Oct, 2024

  • CUIfy XR：一个开源包用于在扩展现实中嵌入基于大型语言模型的对话代理

    本研究解决了扩展现实（XR）中缺乏自然交互和智能空间的问题。提出的开源Unity包CUIfy，通过集成基于大型语言模型的非玩家角色（NPC）以及语音识别和文本转语音技术，实现了更加自然的对话用户界面。该工作显著提升了用户与NPC之间的互动体验，推动了XR技术在日常生活中的应用。

    Nov, 2024

  • 扩展现实中的生物识别技术：综述

    本研究解决了在扩展现实（XR）中应用生物识别技术面临的安全和隐私问题。论文系统地调查了用于用户身份认证的生物识别特征，提出了生物识别脆弱性网关的分类，并详尽讨论了在XR环境中生成和认证生物识别虚拟化身的过程。研究的发现为提升XR安全性和用户隐私保护提供了重要参考，并指出了未来研究的开放挑战。

    Nov, 2024