May, 2024

SmartFlow: 基于 LLMs 的机器人流程自动化

PDF
TL;DR智能流 (SmartFlow) 是一种基于人工智能的机器人流程自动化（RPA）系统，它使用预训练的大型语言模型（LLMs）结合深度学习技术的图像理解，通过计算机视觉和自然语言处理来感知图形用户界面（GUI）上的可见元素并转换为文本表示，然后将其用于生成一系列由脚本引擎执行的操作，以完成所指定的任务。
robotic process automationsmartflowai-based rpa systemcomputer visionnatural language processing
发现论文，激发创造
  • FlowMind: 使用 LLMs 自动生成工作流

    Robotic Process Automation (RPA) 的快速发展在自动化重复任务方面取得了显著进展，然而在用户要求进行即兴或不可预测任务的场景下，其效果减弱。本文介绍了一种新的方法 FlowMind，利用大型语言模型（LLMs）如 Generative Pretrained Transformer（GPT），以解决这一限制并创建一个自动工作流生成系统。FlowMind 通过提供高层次的自动生成工作流描述简化用户交互，并能够有效地检查和提供反馈。我们还介绍了 NCEN-QA，这是一个用于基准化基金的 N-CEN 报告的问题回答任务的金融数据集。我们使用 NCEN-QA 来评估由 FlowMind 生成的工作流与 FlowMind 的基准和消融变体的性能。我们展示了 FlowMind 的成功，论证了提出的讲座方法中每个组件的重要性以及 FlowMind 中用户交互和反馈的有效性。

    Mar, 2024

  • ProAgent：从机器人流程自动化到主动流程自动化

    这篇文章介绍了一种名为 Agentic Process Automation (APA) 的新型自动化模式，通过利用基于大型语言模型（LLM）的代理人将人的劳动转移到与构建和执行相关的代理人，实现了先进自动化。我们实例化了一个名为 ProAgent 的 LLM 代理人，用于根据人类指令制定工作流程并进行复杂决策的协调。通过实证实验详细说明了工作流程的构建和执行过程，展示了 APA 的可行性，揭示了一个由代理人驱动的新自动化范式的可能性。

    Nov, 2023

  • 基于 LLM 的智能虚拟助理与流程自动化

    通过使用大型语言模型（LLMs），本研究提出了一种新颖的基于 LLM 的虚拟助手，能够根据高级用户请求自动执行手机应用程序中的多步操作，该系统采用了一种端到端的解决方案来解析指令，推理目标并执行操作，实验证明该系统可在支付宝上以自然语言指令完成复杂的移动操作任务，展示了大型语言模型在实现自动助手完成实际任务方面的潜力。

    Dec, 2023

  • 基于基础模型的企业自动化

    自动化企业工作流程可以释放每年 4 万亿美元的生产力增益。通过案例研究医院和大型 B2B 企业，我们发现采用机器人流程自动化受到成本高昂（需 12-18 个月），执行不可靠（初始准确率为 60％）和繁琐的维护（需要多个全职员工）的限制。在这篇文章中，我们提出 ECLAIR，一个能够以较少人力监督自动化企业工作流程的系统，通过初步实验表明，多模态基础模型具有解决传统机器人流程自动化的局限性的潜力。我们还确定了人工智能与人类协作、验证和自我提升作为开放性挑战，并提出了通过数据管理技术解决这些挑战的方式。

    May, 2024

  • 通用流程作为可扩展机器人学习的基础支持

    提出了一种基于预测流的机器人学习方法，能够实现在现实场景中稳定且高效的技能转移，涵盖了现实环境中的多个目标类别，通过利用大规模数据集实现了可扩展的普适机器人学习。

    Jan, 2024

  • StateFlow：通过状态驱动工作流提升 LLM 任务解决能力

    使用大型语言模型（LLMs）解决复杂任务的一个显著趋势是将复杂任务解决过程概念化为由 LLMs 支持的状态机。通过适当构建状态和定义状态转换，StateFlow 确保 LLMs 在任务解决过程中的响应得到明确的跟踪和管理，从而推动任务的进展。在每个状态内，StateFlow 允许执行一系列的动作，包括按照特定提示生成 LLMs 的响应以及根据需要利用外部工具。状态转换由 LLMs 做出的特定规则或决策来控制，从而实现通过预定义的 StateFlow 模型动态和自适应地推进任务。在 InterCode SQL 和 Bash 基准测试中评估结果表明，StateFlow 显著提高了 LLMs 的效率。

    Mar, 2024

  • CAAP: 前端 UI 下的上下文感知行动规划引导解决计算机任务

    基于大型语言模型的自动化机器人可以在无需 HTML 源代码的基础上仅通过屏幕截图识别环境，利用上下文学习来消除数据收集需求，在自动化代理领域取得了重大的进展，尤其适用于需要在计算机或智能手机上进行应用间协调的任务。

    Jun, 2024

  • 简历流程：基于 LLM 的个性化简历生成和优化管道

    使用大型语言模型 (LLM) 的工具 ResumeFlow，能够根据用户提供的具体工作岗位和详细简历，生成与该工作岗位相匹配的个性化简历。

    Feb, 2024

  • 智能商业规则处理方法：最新进展

    对业务规则处理的最新智能技术进行了综述和调查，特别关注机器学习和其他智能方法，同时分析市场中顶级供应商和其解决方案。

    Nov, 2023

  • SheetCopilot： 利用大型语言模型将软件生产力提升到新的高度

    提出了一种名为 SheetCopilot 的代理方案，该代理方案利用大型语言模型 (LLMs) 使用自然语言用户请求进行任务和控制电子表格，具有较高的自动化能力。经过测试，该代理方案正确完成了 44.3% 的任务，表现显著优于强代码生成基线。

    May, 2023