Jun, 2024

DISCOVERYWORLD：开发和评估自动科学发现代理的虚拟环境

PDF
TL;DR开发和评估 AI 代理的端到端科学推理能力具有挑战性，本文介绍了 DISCOVERYWORLD，这是第一个用于开发和评估代理执行完整的新颖科学发现循环能力的虚拟环境，通过包含不同挑战任务，覆盖放射性同位素约会、火箭科学和蛋白质组学等多个主题，鼓励培养一般的发现技能而非特定任务的解决方案，提供了自动度量指标来评估性能，发现在 DISCOVERYWORLD 任务中，之前在其他环境中表现良好的强基线代理却遇到了困难，这表明 DISCOVERYWORLD 捕捉到了部分新颖的发现挑战，并可能加速代理的科学发现能力的发展和评估。
automated scientific discoverydiscoveryworldvirtual environmentscientific reasoningagent performance evaluation
发现论文，激发创造
  • OSWorld: 多模态代理在真实计算机环境中的开放式任务评测

    通过引入 OSWorld，我们创建了一个包含 369 个计算机任务的基准，以评估多模态代理在开放领域中执行任意应用程序所涉及的计算机任务的能力。在 OSWorld 上进行的全面评估为开发多模态通用代理提供了宝贵的洞见，这是以前的基准测试无法实现的。

    Apr, 2024

  • AndroidWorld: 一个用于自主智能体动态基准测试的环境

    自主代理、AndroidWorld、奖励信号、编程任务工作流、计算机控制代理

    May, 2024

  • VRKitchen：面向任务学习的交互式 3D 虚拟环境

    通过 VRKitchen 的虚拟现实环境和集成功能，该研究使用现代人工智能方法驱动具有复杂任务能力的实体代理，使人类教师能够进行演示培训，为任务导向学习等领域的广泛应用提供了标准化的评估基准和数据收集工具。

    Mar, 2019

  • ScienceWorld：您的智能代理比五年级的学生更聪明吗？

    我们介绍了 ScienceWorld，这是一个新的交互式文本环境下测试代理进行科学推理能力的基准，并发现交互式环境对于代理实现理解科学问题和推理能力非常重要。实验表明交互模式下 1.5 百万参数的模型能够优于静态模型中训练了上百万个示例的 11 亿参数模型。

    Mar, 2022

  • ScriptWorld：学习程序化知识的文本环境

    介绍了一种名为 ScriptWorld 的基于文本的环境，用于教授智能代理关于日常家务事的现实世界常识知识，实验表明，从预训练的语言模型获取的先前知识有助于解决现实文本游戏环境。

    Jul, 2023

  • Powderworld: 通过丰富的任务分布了解泛化的平台

    本研究自主研发了一款轻量级 GPU 仿真环境 Powderworld，提供多样化的任务空间，旨在通过提供源自相同核心规则的多样化任务来支持对泛化扩展的研究，实验证明增加环境复杂性可改善世界模型和某些强化学习代理的泛化，但可能会抑制高方差环境下的学习。

    Nov, 2022

  • WebArena：一个构建自主代理的真实网络环境

    建立一个高度逼真和可重现的环境，专注于在网站上执行任务的智能代理，提供一组多样化、长期规划、模拟人类在互联网上例行执行的任务的基准任务以评估任务完成的功能正确性。

    Jul, 2023

  • AgentStudio: 一个用于构建通用虚拟代理的工具包

    创建具备适应任意软件在任何数字设备上运行的自主虚拟代理人仍然是人工智能的一个重大挑战。为了解决这个问题，我们介绍了 AgentStudio，这是一个在线、逼真且多模态的工具包，涵盖了代理人开发的整个生命周期，包括环境设置、数据收集、代理人评估和可视化等。

    Mar, 2024

  • 奇幻世界：从单张图像生成交互式 3D 场景

    WonderWorld 是一个新颖的交互式 3D 场景推断框架，基于单个输入图像和用户指定的文本，用户能够探索和构建虚拟环境。通过利用快速高斯 Surfels 和引导式扩散深度估计方法，WonderWorld 能够在显著减少计算时间的同时生成几何一致的推断结果。我们的框架使用单个 A6000 GPU 在不到 10 秒钟内生成连接且多样化的 3D 场景，实现了实时用户交互和探索。这一方法在交互式 3D 场景生成方面取得了重要进展，为用户驱动的内容创作和虚拟环境中的探索开辟了新的可能性。我们将发布完整的代码和软件以进行可复现性。项目网站：https://this-website-url

    Jun, 2024

  • ThreeDWorld：交互式多模态物理模拟平台

    TDW 是一种用于交互式多模式物理模拟的平台，可支持高度逼真的感官数据和物体之间的物理交互，并支持在 3D 丰富环境中进行。通过 TDW，可以进行多种物理材料的交互和渲染，并支持人机交互，从而在机器视觉、机器学习和认知科学等领域探索新的研究方向。

    Jul, 2020