Jul, 2024

评估 LLMs 解决语义感知过程挖掘任务的能力

PDF
TL;DR通过对大型语言模型（LLMs）进行理解和监督微调，本研究详细探讨了 LLMs 在过程挖掘任务中的实用性和应用价值，包括语义异常检测和下一活动预测等领域，并提供了大量基准数据集进行评估实验。结果表明，在给定少量示例和上下文环境的情况下，LLMs 在处理复杂过程挖掘任务时表现不佳，但经过微调后，在性能上明显优于较小的编码器模型。
process mininglarge language modelssemantic anomaly detectionnext activity predictionsupervised fine-tuning
发现论文，激发创造
  • 闲聊还是深层讨论：为过程挖掘设计提示工程

    该研究主要探讨了大型语言模型在过程挖掘中的应用，以增强对话代理的能力，并改进了现有解决方案的许多问题，提高了可访问性和代理性能。通过实验验证了该框架在公共问题和数据集上的效果，为进一步探索大型语言模型在过程挖掘中的作用奠定了基础，并提出了改进大型语言模型记忆、实时用户测试和研究多样化数据集的建议。

    Jul, 2023

  • 大型语言模型是上下文语义推理者而非符号推理者

    本文研究了大型语言模型 LLMs 的推理能力，通过对语义从推理过程中的剥离进行实验，发现语义在 LLMs 的推理中起着至关重要的作用，但在符号逻辑和违反常识的推理任务中表现出困难。作者提出了这一发现的新视角，并呼吁深入研究 LLMs 的推理机制。

    May, 2023

  • 大型语言模型可完成商业流程管理任务

    大规模语言模型（LLMs）在文本相关的业务流程管理任务中表现出与现有解决方案相当甚至更好的性能，这为未来的 BPM 研究和实际应用带来了重要的启示。

    Jul, 2023

  • 面向使用 LLMs 的因果业务流程推理的基准

    利用大型语言模型 (LLMs) 来推动组织效率和自动化任务，在本研究中创建了一个基准来评估 LLMs 在推理业务活动的因果和过程视角方面的能力，并应用 LLMs 的能力进行 BP^C 的推理，以用于流程干预和流程改进。

    Jun, 2024

  • 大型过程模型：生成式人工智能时代的业务流程管理

    通过将 LLMs 的相关性和知识系统以及自动推理方法的分析精度和可靠性相结合，提出了大型过程模型（LPM），该模型将大大减少业务转型所需的时间和工作量，并能提供比以前更深入、更有影响力和更具操作性的见解。

    Sep, 2023

  • 商业中 LLM 益处的实际检验

    大型语言模型（LLMs）在理解和生成任务方面取得了显著的表现，但其在偏见、上下文理解和对提示的敏感性方面存在限制，因此对其在实际应用中的准备性产生了担忧。本文通过对四个可访问的 LLMs 使用真实世界数据进行的实验，深入研究了 LLMs 在业务流程中的实用性和准备性。研究结果对希望利用生成式人工智能的组织具有重大影响，并为未来的研究方向提供了宝贵的见解。据我们所知，这是第一项将 LLMs 应用于核心业务运营和挑战的定量研究。

    Jun, 2024

  • LogicLLM: 探索基于自监督逻辑增强训练的大型语言模型

    本篇论文主要介绍了如何通过自监督后训练和上下文学习来增加逻辑知识，从而提高语言模型的逻辑推理能力，取得了比现有基线更好的效果。

    May, 2023

  • 大型语言模型逻辑推理的教学学习

    通过对大型语言模型的研究，我们发现它们在逻辑推理方面存在缺陷，导致其在任务解决中产生反事实的答案。为了解决这个问题，我们提出了多种策略，赋予大型语言模型逻辑推理能力，从而使其能够在不同场景中生成更符合逻辑的答案。我们还通过构建一个综合数据集 (LMM-LR) 对该方法进行了评估和预训练。在不同任务上进行了广泛的定量和定性分析，验证了通过逻辑训练大型语言模型的有效性和必要性，并为将来的工作提供了启示。

    Oct, 2023

  • LLMs 中的分布式推理：多跳推理中的并行推理过程

    大型语言模型具有出色的能力来执行需要思考过程的任务，本研究引入了一种新颖且可解释的分析方法，探讨了大型语言模型内部的多跳推理过程，揭示了模型通过简单线性变换来建模组合推理问题的预测过程，并且发现网络的中间层生成高度可解释的嵌入，代表了多跳问题的一组潜在中间答案，这些观察结果揭示了平行推理路径的存在，即使模型缺少解决任务所需的知识，这些结果有助于揭示大型语言模型解决推理任务的策略，并提供了人工智能所能产生的思维过程类型的见解，最后还讨论了认知建模的这些结果的含义。

    Jun, 2024

  • 评估大型语言模型的推理能力

    大型语言模型（LLMs）的发展促使人们对其推理和问题解决能力产生了更大的兴趣。本研究调查了几种 LLMs 是否能够解决认知科学文献中一种经典类型的演绎推理问题。研究发现，这些被测试的 LLMs 在传统形式上解决这些问题的能力有限。我们进行了后续实验，探究了更改展示格式和内容是否能改善模型性能。尽管我们发现了条件之间的绩效差异，但总体性能并未提高。此外，我们还发现性能与展示格式和内容以出人意料的方式相互作用，与人类表现有所不同。总的来说，我们的结果表明 LLMs 具有独特的推理偏见，其只能部分预测人类的推理表现。

    Sep, 2023