Jun, 2024

CAAP: 前端 UI 下的上下文感知行动规划引导解决计算机任务

PDF
TL;DR基于大型语言模型的自动化机器人可以在无需 HTML 源代码的基础上仅通过屏幕截图识别环境，利用上下文学习来消除数据收集需求，在自动化代理领域取得了重大的进展，尤其适用于需要在计算机或智能手机上进行应用间协调的任务。
software robotslarge language modelsllm-based automation techniquescontext-aware action planninginter-application coordination
发现论文，激发创造
  • 智能手机图形用户界面自动化的综合认知 LLM 代理

    我们提出了一种全面认知的大型语言模型代理，CoCo-Agent，通过全面环境感知和条件化行动预测的两种新方法系统地提高了图形用户界面自动化性能。我们的代理在 AITW 和 META-GUI 基准测试中取得了最新的最佳表现，展示了在现实场景中的巨大潜力。

    Feb, 2024

  • 使用大型语言模型生成机器人任务计划

    通过使用编程式的提示结构，可以促使大型语言模型在不同的环境、机器人能力和任务中进行计划生成，从而大大减少了任务规划中需要定义的领域知识。

    Sep, 2022

  • 一个具有规划、长期上下文理解和程序综合的现实世界 Web 代理

    基于大规模语言模型的 WebAgent 在网页导航任务中通过规划和总结 HTML 文档，以 Python 程序的形式实现自然语言指令，实验结果显示成功率提升了 50% 以上，并且 HTML-T5 模型在解决基于 HTML 的任务上表现最好。

    Jul, 2023

  • ProAgent：从机器人流程自动化到主动流程自动化

    这篇文章介绍了一种名为 Agentic Process Automation (APA) 的新型自动化模式，通过利用基于大型语言模型（LLM）的代理人将人的劳动转移到与构建和执行相关的代理人，实现了先进自动化。我们实例化了一个名为 ProAgent 的 LLM 代理人，用于根据人类指令制定工作流程并进行复杂决策的协调。通过实证实验详细说明了工作流程的构建和执行过程，展示了 APA 的可行性，揭示了一个由代理人驱动的新自动化范式的可能性。

    Nov, 2023

  • 基于自然语言的 LLMs 上下文建模与推理：教程

    利用大型语言模型，我们展示了利用文本、提示和自主代理让模型进行上下文建模和推理的计算范式，即基于大型语言模型驱动的上下文感知计算。

    Sep, 2023

  • 使用具有环境意识的语言模型生成可执行的行动计划

    本文提出了一种整合环境对象和对象关系作为额外输入的方法，从而产生与场景中的对象相映射的行动计划，并设计了一种新的评分函数，该方法在 VirtualHome 模拟器和 ActivityPrograms 知识库中取得了可靠的结果，其行动计划的正确性和可执行性分别优于之前的研究约 5.3％和 8.9％。

    Oct, 2022

  • 知识密集环境中的聊天机器人：意图和基于 LLM 的系统的比较

    认知助手通过自然语言处理和大型语言模型的应用，在知识密集型任务中表现出更好的用户体验、工作负担、可用性和性能，建议进一步研究切换自然语言处理技术的潜力。

    Feb, 2024

  • CoPAL: 机器人动作的修正规划与大型语言模型

    在全面自主的机器人系统领域，本研究通过提出系统架构来解决复杂开放世界环境中任务与动作规划的挑战，核心是处理生成计划中的物理、逻辑和语义错误的重规划策略。通过在仿真和两个复杂的现实场景中进行实证评估，我们展示了所提出的反馈架构对可执行性、正确性和时间复杂性的有效性。

    Oct, 2023

  • 基于上下文记忆的检索增强规划的多模态 LLM 智能体

    通过提出检索增强规划框架，本研究解决了人类行为在当前决策过程中产生的挑战，并展示了该框架在文本场景和多模态任务中的效果，突显了大型语言模型在复杂实际应用中的功能和适用性。

    Feb, 2024

  • 在开放世界中整合行动知识和 LLM 用于任务规划和情境处理

    该研究提出了一种名为 COWP 的新框架，该框架利用预先训练的大型语言模型，动态地增加任务指向的常识知识，以应对开放式世界中的任务计划和情况处理，该方法在服务任务的成功率方面优于现有方法。

    May, 2023