Sep, 2023

LLMR：使用大型语言模型实时提示交互式世界

PDF
TL;DR通过使用 Unity 游戏引擎和文本交互，我们提出了大型混合现实语言模型（LLMR）框架，该框架用于实时创建和修改交互式混合现实体验，并通过包括场景理解、任务规划、自调试和内存管理等技术，使 LLMR 在平均错误率上比标准 GPT-4 提高了 4 倍。通过多个示例场景的展示、创作和修改任务的评估以及一个使用性研究，我们证明了 LLMR 具有跨平台的互操作性，并且参与者对系统有积极的体验并愿意再次使用。
large language model for mixed realityinteractive mixed reality experiencesunity game enginescene understandingusability study
发现论文，激发创造
  • 大型语言模型在机器人领域的应用：机遇、挑战与展望

    该研究全面概述了大型语言模型（LLMs）和多模态 LLMs 在各种机器人任务中的整合，并提出了一种利用多模态 GPT-4V 结合自然语言指令和机器人视觉感知增强具身任务规划的框架。基于多样化的数据集，我们的结果表明 GPT-4V 有效地提升了机器人在具身任务中的表现。对 LLMs 和多模态 LLMs 在各种机器人任务中的广泛调查和评估丰富了对以 LLMs 为中心的具身智能的理解，并提供了展望未来的关于人机环境交互的见解。

    Jan, 2024

  • Voice2Action: 語言模型在虛擬現實中作為高效實時互動的代理

    使用 Voice2Action 框架，在虚拟现实环境中通过分析声音信号和文本命令，进行分级处理和执行任务，以提高效率。

    Sep, 2023

  • 与环境对话：使用大型语言模型进行交互式多模态感知

    在机器人的交互感知中，使用预先训练的大型语言模型（LLMs）作为交互感知框架，并将其应用于决策问题以及规划多模态环境中的任务执行，这样可以通过感知来指导认知行为和高层次的决策规划，这种方法可以显著提高任务完成的准确性和效率。

    Mar, 2023

  • 在教育和评估应用中探索提示式大型语言模型的能力

    利用大语言模型在现代教育领域创新的机会，通过研究提问型大语言模型、语法错误解释和人力资源面试评估，揭示了大语言模型在改变教育实践中的潜力和限制。

    May, 2024

  • 从 Tarzan 到 Tolkien：控制 LLMs 的语言熟练程度用于内容生成

    探讨利用大型语言模型（LLMs）控制文本难度的问题，在不完全精通的终端用户环境中（如语言学习者），通过使用新颖框架评估了几种关键方法的效果，包括少样本提示、监督微调和强化学习（RL），使用 GPT-4 和 LLama2-7B、Mistral-7B 等开源替代品。我们的发现揭示了在使用基于提示的策略时，GPT-4 和开源模型之间存在很大的性能差距。然而，我们展示了如何通过精调和 RL 对齐的谨慎组合来弥合这一差距。我们最佳的模型，CALM（CEFR 对齐语言模型），在仅成本的一小部分下超越了 GPT-4 和其他策略的性能。我们通过小规模的人工研究进一步验证了我们结果的质量。

    Jun, 2024

  • 大型语言模型在语言学习中的口语智能

    评估大语言模型在教育中的功效，特别是在口语学习领域，引入新的多选题数据集评估模型在理解和应用口语知识方面的表现，研究不同提示技术对模型性能的影响，发现模型在音韵学、语音学和第二语言习得方面具有良好的概念理解，但在解决现实世界问题的推理方面存在限制，并初步探讨了对话交流的发现。

    Aug, 2023

  • 基于大语言模型的对话式生成自动驾驶仿真场景

    本文描述了一个支持扩展多模态交互的系统，通过使用大型语言模型 (LLMs) 将用户的英语语句映射到领域特定的代码，我们探索了 LLMs 在上下文敏感性方面捕捉演算发言者意图的程度。

    Oct, 2023

  • 面向语言引导的交互式 3D 生成：LLMs 作为布局解释器与生成反馈

    该研究提出了一种基于大型语言模型（LLMs）的 LI3D 系统，它集成了 LLMs 作为 3D 布局解释器到现有的布局生成模型中，使用户能够灵活且交互式地生成 3D 场景并且验证其有效性和性能。

    May, 2023

  • 用大型语言模型引导机器人行走

    使用自然语言处理模型（LLMs）通过少量样本来实现机器人的动态运动控制，充分展示了机器人领域中大规模预训练模型的潜力。

    Sep, 2023

  • 大型语言模型（LLM）作为多个专家代理系统：解决抽象和推理语料库（ARC）挑战的方法

    使用大型语言模型（LLMs）作为多个专家代理系统，通过在零样本、少样本、上下文引导提示的情况下启动 LLMs 的灵活性，我们试图解决抽象和推理语料库（ARC）挑战。通过将输入图像转换为多个适合的基于文本的抽象空间，我们利用 LLMs 的联想能力推导出输入输出关系，并将其映射到工作程序形式的行动，类似于 Voyager / Ghost in the MineCraft。此外，我们使用迭代环境反馈来指导 LLMs 解决任务。我们的方法在训练集问题的 111 个问题中实现了 50 个解决方案（45%），仅使用三个抽象空间 - 网格、对象和像素。我们相信通过更多的抽象空间和可学习的行动，我们将能够解决更多问题。

    Oct, 2023