本研究提出了一个全面的基准测试系统 CausalBench，旨在评估大型语言模型在理解因果关系方面的能力。通过包含三个与因果学习相关的任务，并结合不同难度的任务场景，该系统能够方便地比较多种大型语言模型与经典因果学习算法的性能。研究利用 CausalBench 评估了 19 种领先的大型语言模型，揭示了它们在各个方面的优势和弱点，并定量地探索了它们在不同场景中能力的上限。此外，研究还定量地呈现了不同信息源之间的差异，并揭示了大型语言模型在文本上下文和数值领域中对因果理解能力的差距。

Apr, 2024

本文提出了一种结合基于知识的 LLMs 因果分析和数据驱动因果结构学习的新框架，以构建因果结构学习的新范式，并介绍了一套广泛的提示组，以从给定变量中提取因果图，并评估 LLM 先前因果对从数据中恢复因果结构的影响

Jun, 2023

快速提取、调用函数和数据分析是大型语言模型 (LLMs) 快速生成代码，从提供的数据集中自动化搜索和验证假设的关键。我们通过 DiscoveryBench 这一全面的基准测试来评估这个问题，该基准测试形式化了数据驱动发现的多步骤过程。该基准测试的设计是为了系统评估当前模型在发现任务中的能力，并为改进这些能力提供有用的资源。

Jul, 2024

本文研究了大型语言模型在生成因果图方面的能力，通过将条件独立性查询作为 LLM 的提示并与 PC 算法的答案结合，提出了一种基于统计启发的投票模式来改善性能，并发现因果推理可以用于对概率查询进行合理解释，从而证明了基于知识的因果推理可能成为一种补充数据驱动因果发现的工具。

Jun, 2024

通过自动化生成更稳健、准确和可解释的因果图，本研究展示了一种新的框架 —— 自主 LLM（Large Language Models）增强因果推理框架（ALCM），整合了数据驱动的因果推理算法和 LLMs，以提高因果推理的效果，并强调了利用 LLMs 的因果推理能力的新的研究方向。

May, 2024

通过创建一个新的自然语言处理任务，基于因果图和问题，研究大型语言模型在因果推理方面的能力，并提出一种特定的激励策略来评估和分析这种推理能力。

Dec, 2023

提出了一种利用 LLMs 进行全因果图发现的新框架，通过广度优先搜索（BFS）方法，使用线性数量的查询，可在不同领域的因果图发现任务中获得具有前沿水平结果的高效性和效果。

Feb, 2024

本文就 LLM（如 GPT4）在因果发现任务中的综合应用进行了全面的调查，系统地回顾和比较了现有的 LLM 利用方法，并强调了它们在推断因果结构中利用元数据和自然语言的创新使用。我们的分析揭示了 LLM 在增强传统 CD 方法和作为不完善专家方面的优势和潜力，同时也揭示了当前实践中存在的挑战和限制。此外，我们还确定了文献中的空白，并提出了旨在发挥 LLM 在因果研究中全部潜力的未来研究方向。据我们所知，这是第一次对 LLM 和 CD 之间的协同作用进行统一而详细的调查，为未来的进展奠定了基础。

Feb, 2024

通过引入名为 Galeras 的基准测试策略，将统计学严谨性引入 LLMs 的评估，该论文展示了因果推断评估在降低混杂偏差方面的实践成果，为分析准确度指标提供了可解释性的解决方案。

Aug, 2023

为了评估复合人工智能系统（CASs）中多模式数据检索器的数据发现性能，我们提出了一个模拟企业数据平台复杂性的基准测试 CMDBench，并通过对各种模态、数据源和任务难度进行实验，发现数据检索器设计对下游任务性能的影响，平均任务准确性下降 46％，从而表明有必要开发优化策略以有效执行 CASs。

Jun, 2024