自动化企业工作流程可以释放每年 4 万亿美元的生产力增益。通过案例研究医院和大型 B2B 企业，我们发现采用机器人流程自动化受到成本高昂（需 12-18 个月），执行不可靠（初始准确率为 60％）和繁琐的维护（需要多个全职员工）的限制。在这篇文章中，我们提出 ECLAIR，一个能够以较少人力监督自动化企业工作流程的系统，通过初步实验表明，多模态基础模型具有解决传统机器人流程自动化的局限性的潜力。我们还确定了人工智能与人类协作、验证和自我提升作为开放性挑战，并提出了通过数据管理技术解决这些挑战的方式。

May, 2024

该论文探讨了发展用于处理商业流程数据的基础模型的重要性，以应对数据稀缺、多模型表示、领域特定术语和隐私问题等独特挑战。

Oct, 2022

大规模语言模型（LLMs）在文本相关的业务流程管理任务中表现出与现有解决方案相当甚至更好的性能，这为未来的 BPM 研究和实际应用带来了重要的启示。

Jul, 2023

本研究旨在通过理解先进的文档分析技术，特别是多模态模型，在银行业务的操作效率提升和应对金融科技竞争方面的潜力。通过综合分析多样化的银行文件环境，我们展示了通过自动化和高级分析技术在客户业务中提高效率的机会。借助自然语言处理领域的快速发展，我们阐明了在银行业领域分析各种文件的 LayoutXLM 等模型潜力。该模型可对德国公司注册文件进行文本标记分类，整体 F1 得分约为 80%。我们的实证证据证实了布局信息在提高模型性能方面的关键作用，并进一步强调了整合图像信息的好处。有趣的是，我们的研究表明，仅使用 30% 的训练数据就可以达到超过 75% 的 F1 得分，证明了 LayoutXLM 的高效性。通过解决最先进的文档分析框架，我们的研究旨在提高流程效率，展示多模态模型在银行业务中的实际适用性和好处。

Jul, 2023

多模式大型语言模型在网页相关任务中表现出了很大的潜力，评估其在网页领域的性能仍然是一个挑战，因为缺乏全面的基准测试。本文引入了一个名为 ench {} 的多模式基准测试，其设计旨在评估 ML 近几年在网页任务中的能力。通过在 ench {} 上评估了 14 个开源 MLLMs，如 Gemini Pro、Claude-3 系列和 GPT-4V (ision)，我们揭示了重要挑战和性能差距。进一步的分析突出了当前 MLLMs 的限制，包括在文本丰富环境中缺乏足够的基础知识，并在低分辨率图像输入下表现不佳。我们相信 ench {} 将成为研究界宝贵的资源，并为网页相关应用的更加强大和多功能的 MLLMs 的创建做出贡献。

Apr, 2024

该论文通过案例研究比较了基于生成模型的聊天机器人（如 GPT 和 PaLM）在过程执行支持中的表现，揭示了使用会话式方法支持生成聊天机器人作为理解过程感知建模符号并协助用户执行任务的挑战性问题。

Nov, 2023

MultiBench 是一个系统性和统一化的基准测试，跨越 15 个数据集，10 种模态，20 种预测任务和 6 个研究领域。MultiBench 提供自动化的端到端机器学习流程，简化和标准化数据加载，实验设置和模型评估。随着大量的实践证明，不同研究领域提出的方法可以改善 9/15 数据集的最先进性能。MultiBench 处理了跨模态一般化，复杂性和健壮性的问题，对于未来研究具有重要的挑战性，包括可扩展性到大规模多模态数据集和对现实缺陷的健壮性。

Jul, 2021

提出了一种使用大型语言模型将条件流程树 (CPT) 转换为业务流程文本概述 (BPTS) 的方法，通过拆分困难的 CPT 并逐个解决，实现了 93.42% 的正确率，比传统提示方法提高了 45.17%，解决了在无数据集情况下进行业务流程文档生成的问题，并有潜力为过程模型提取领域提供大量数据集。

Sep, 2023

引入 FedMultimodal，它是第一个 FL 基准，用于多模态学习，覆盖了来自十个常用数据集的五个代表性多模态应用程序，总共有八种独特方式。与现有的 FL 基准不同，FedMultimodal 提供了一种标准化方法来评估 FL 对实际多模态应用程序中的三种常见数据污染的鲁棒性：缺失模态，缺失标签和错误标签。

Jun, 2023

利用知识图谱作为桥梁，将独立训练的单模态基础模型连接起来，建立多模态行为，BioBridge 在跨模态检索任务中的效果优于最佳基线 KG 嵌入方法（平均提升约 76.3%），同时展现了对未见模态和关系的跨领域泛化能力，并被证明可以用于生物医学多模态问答和新药引导生成的通用检索器。

Oct, 2023