ACLJul, 2022

WebShop: 面向可扩展的真实世界网络交互的基于场景语言智能体

PDF
TL;DR通过开发一个模拟的电子商务网站环境，使用强化学习、模仿学习和预训练图像和语言模型训练和评估多种代理人，以便理解指令、购买商品并在嘈杂的网页中执行动作，并分析代理人和人类的轨迹以提供以后的思路。
language groundingsimulated e-commerce websitereinforcement learningimitation learningsim-to-real transfer
发现论文，激发创造
  • ChatShop: 与语言代理商进行交互式信息搜索

    我们使用网络购物任务作为示例，将其重新定义为一个信息检索任务，并引入购物者角色作为一个受限通信通道，以此来评估语言智能代理系统探索和积累信息的能力。我们的实验证明，该任务能够有效地评估代理系统通过多轮交互获取和积累信息的能力。同时，我们发现基于 LLM 模拟的购物者在错误模式方面与真实人类购物者存在相似性。

    Apr, 2024

  • 在二维环境中的交互式基于语境的语言习得和推理

    基于 2D 迷宫世界，通过虚拟代理学习语言的模型，将语言的生成与理解与其他计算流程分离，从而成功地解决新单词出现的问题。模型可以解释人类可理解的中间输出结果，大幅优于其他五种比较方法。

    Jan, 2018

  • 将开放域的指令应用于自动化 Web 支持任务

    介绍了一个训练 AI 智能体对象执行开放域、逐步指导的任务的数据集，该数据集包含 741 个逐步指令。此外，构建了一个名为 RUSS 的模型来处理此问题，并且它优于不使用 ThingTalk 直接映射指令的最新模型。

    Mar, 2021

  • WebArena：一个构建自主代理的真实网络环境

    建立一个高度逼真和可重现的环境，专注于在网站上执行任务的智能代理，提供一组多样化、长期规划、模拟人类在互联网上例行执行的任务的基准任务以评估任务完成的功能正确性。

    Jul, 2023

  • 在模拟的 3D 世界中的基于场景语言学习

    通过增强和无监督学习，训练具备最少先验知识的机器人在仿真 3D 环境中理解自然语言指令，将语言符号与周围物理环境的感知表示和相关的行动序列联系起来，实现语言含义的压缩和提取，从而揭示出关于语言基于感知概念的本质和潜力。

    Jun, 2017

  • 超越查询：通过强化学习训练更小的语言模型进行网络交互

    针对传统搜索系统在产品搜索等场景中面临的挑战，本研究介绍了一种用于智能网页交互的基于语言模型和强化学习的框架，名为 GLAINTEL。GLAINTEL 通过引入基于 transformer 模型的 Flan-T5 架构，结合语言建模和价值评估模块，实现了对网页环境中搜索能力的增强。通过系统评估不同场景下的训练效果，发现在无人示范的情况下，无监督学习方法的效果优于行为克隆方法，同时将人类示范与强化学习相结合的模型效果与使用 GPT-4 模型的结果相当。

    Apr, 2024

  • 基于指令微调基础模型的多模式网络导航

    本文提出了一种基于视觉 - 语言模型的指令驱动表征，通过离线培训方式对 WebGUM 模型进行了训练，使其在视觉感知、HTML 理解和多步推理能力上表现出色，相比现有最佳方法提高了 31.9％以上。

    May, 2023

  • 一个（搜索）框内的语言：以真实世界的人机交互为基础的语言学习

    研究通过现实世界数据进行基于场景语言学习，探索在用户与搜索引擎之间自然互动中建模教师 - 学生动态学习的出现、语义的普遍性，学习场景、表示和组合的功能，并表明该方法在组合性和零 - shot 推理任务方面提供了比 SOTA 的非基于场景的模型更好的结果和泛化能力。

    Apr, 2021

  • Mind2Web: 通往 Web 的通才智能代理

    使用 Mind2Web 数据集，作者构建了能够利用大型语言模型（LLMs）构建通用 Web 代理的解决方案，该方案使用实际网站而非模拟网站，并提供广泛的用户交互图案。

    Jun, 2023

  • 以行动示范为导向，而非口头指示：将自然语言融入机器人可用性

    利用预训练技能约束自然语言模型以便进行真实世界的物理执行，从而实现语言驱动机器人。

    Apr, 2022