May, 2024

基于基础模型的企业自动化

PDF
TL;DR自动化企业工作流程可以释放每年 4 万亿美元的生产力增益。通过案例研究医院和大型 B2B 企业，我们发现采用机器人流程自动化受到成本高昂（需 12-18 个月），执行不可靠（初始准确率为 60％）和繁琐的维护（需要多个全职员工）的限制。在这篇文章中，我们提出 ECLAIR，一个能够以较少人力监督自动化企业工作流程的系统，通过初步实验表明，多模态基础模型具有解决传统机器人流程自动化的局限性的潜力。我们还确定了人工智能与人类协作、验证和自我提升作为开放性挑战，并提出了通过数据管理技术解决这些挑战的方式。
automating enterprise workflowsworkflow automationprocess miningrobotic process automationmultimodal foundation models
发现论文，激发创造
  • 多模式基础模型理解企业工作流程吗？业务流程管理任务的基准测试

    为了解决现有机器学习基准缺乏用于评估企业流程管理（BPM）任务的深度和多样性的问题，研究人员提出了 WONDERBREAD，这是评估多模态基础模型在超出自动化的 BPM 任务上的第一个基准。他们的研究发现，目前最先进的基础模型可以自动生成文档，但在验证工作流完成度方面存在困难。通过这项研究，他们希望鼓励开发更多 “以人为中心” 的企业应用人工智能工具，并进一步探索多模态基础模型在更广泛的 BPM 任务中的应用。

    Jun, 2024

  • ProAgent：从机器人流程自动化到主动流程自动化

    这篇文章介绍了一种名为 Agentic Process Automation (APA) 的新型自动化模式，通过利用基于大型语言模型（LLM）的代理人将人的劳动转移到与构建和执行相关的代理人，实现了先进自动化。我们实例化了一个名为 ProAgent 的 LLM 代理人，用于根据人类指令制定工作流程并进行复杂决策的协调。通过实证实验详细说明了工作流程的构建和执行过程，展示了 APA 的可行性，揭示了一个由代理人驱动的新自动化范式的可能性。

    Nov, 2023

  • SmartFlow: 基于 LLMs 的机器人流程自动化

    智能流 (SmartFlow) 是一种基于人工智能的机器人流程自动化（RPA）系统，它使用预训练的大型语言模型（LLMs）结合深度学习技术的图像理解，通过计算机视觉和自然语言处理来感知图形用户界面（GUI）上的可见元素并转换为文本表示，然后将其用于生成一系列由脚本引擎执行的操作，以完成所指定的任务。

    May, 2024

  • FlowMind: 使用 LLMs 自动生成工作流

    Robotic Process Automation (RPA) 的快速发展在自动化重复任务方面取得了显著进展，然而在用户要求进行即兴或不可预测任务的场景下，其效果减弱。本文介绍了一种新的方法 FlowMind，利用大型语言模型（LLMs）如 Generative Pretrained Transformer（GPT），以解决这一限制并创建一个自动工作流生成系统。FlowMind 通过提供高层次的自动生成工作流描述简化用户交互，并能够有效地检查和提供反馈。我们还介绍了 NCEN-QA，这是一个用于基准化基金的 N-CEN 报告的问题回答任务的金融数据集。我们使用 NCEN-QA 来评估由 FlowMind 生成的工作流与 FlowMind 的基准和消融变体的性能。我们展示了 FlowMind 的成功，论证了提出的讲座方法中每个组件的重要性以及 FlowMind 中用户交互和反馈的有效性。

    Mar, 2024

  • 基础模型在推进自动驾驶车辆方面的前景角色

    基于人工智能的大规模基础模型在自主驾驶中具有着巨大的应用潜力，能够提升场景理解和推理能力，增强语言和行动命令的认知推理，并改善自主驾驶系统的准确性和可靠性。同时，通过自我监督学习范式下的大规模数据，世界模型可以生成看似真实的未见过的驾驶环境，促进对道路使用者行为的预测和驾驶策略的离线训练，从而提高自主驾驶的安全性和处理长尾分布问题的能力。

    Dec, 2023

  • 自主多模态细粒度训练助手的工作流：朝向混合现实

    设计了一个自主的工作流程，将人工智能代理与扩展现实应用紧密结合，以进行细粒度的培训，并介绍了一个多模态细粒度培训助手的示例，以乐高积木组装为例，其中融合了语言理解和视觉理解，为用户在扩展现实环境中与智能助手进行无缝互动提供了更智能和高效的解决方案。

    May, 2024

  • TaskMatrix.AI：通过连接基础模型和数百万个 API 完成任务

    本篇论文提出了一种新型的人工智能生态系统，将基础模型与数百万 API 相连通以实现各种数字和实体任务，该方法主要利用基础模型作为中心系统，将这些 API 作为子任务解决器，以完成各种任务。

    Mar, 2023

  • 生物医疗健康中联邦基础模型的挑战与机遇

    该调查研究了基本模型（FM）在人工智能中的转化影响，重点关注其与联邦学习（FL）相结合在推进生物医学研究中的应用。基于巨大数据集通过无监督预训练、自监督学习、指导微调和人类反馈强化学习等方法训练的基本模型，如 ChatGPT、LLaMa 和 CLIP，代表了机器学习的重要进展。这些模型具有生成连贯文本和逼真图像的能力，在需要处理包括临床报告、诊断图像和多模态患者互动等多样数据形式的生物医学应用中发挥关键作用。将联邦学习与这些复杂模型结合起来，为利用其分析能力同时保护敏感医疗数据的隐私提供了有前途的策略。这种方法不仅提升了基本模型在医学诊断和个性化治疗方面的能力，还解决了医疗保健中数据隐私和安全的重要问题。该调查回顾了基本模型在联邦环境中的当前应用，强调了挑战，并确定了未来的研究方向，包括扩展基本模型、管理数据多样性以及提高联邦学习框架内的通信效率。旨在鼓励进一步研究基本模型和联邦学习的结合潜力，为突破性的医疗创新奠定基础。

    May, 2024

  • 针对业务流程的基础模型案例

    该论文探讨了发展用于处理商业流程数据的基础模型的重要性，以应对数据稀缺、多模型表示、领域特定术语和隐私问题等独特挑战。

    Oct, 2022

  • AutoRT: 机器人代理大规模编排的体现模型

    AutoRT 利用基础模型扩展操作机器人在未知场景中的部署，通过视觉 - 语言模型进行场景理解和定位，并利用大规模语言模型提出多样且新颖的指令，实现对机器人群体的指导数据收集，从而显著扩大机器人学习的数据规模。

    Jan, 2024