LLM 导向的因果推断

Oct, 2023

Causal Inference Using LLM-Guided Discovery

Aniket Vashishtha, Abbavaram Gowtham Reddy, Abhinav Kumar, Saketh Bachu, Vineeth N Balasubramanian...

TL;DR基于观察数据的因果推断核心是确定可靠的因果图。本文研究表明，仅凭因果顺序而非完整图信息便足以进行因果效应推断。同时，我们利用大型语言模型（LLMs）作为虚拟领域专家，提出了一种从 LLMs 中获取因果顺序的鲁棒技术。实验证明，与传统的发现算法相比，我们的方法显著提高了因果顺序的准确性，突显了 LLMs 在各个领域增强因果推断的潜力。

Abstract

At the core of causal inference lies the challenge of determining reliable causal graphs solely based on observational data. Since the well-known backdoor criterion depends on the graph, any errors in the graph c

causal inference observational data causal order large language models causal discovery algorithms

发现论文，激发创造

基于约束的因果发现的大型语言模型

本文研究了大型语言模型在生成因果图方面的能力，通过将条件独立性查询作为 LLM 的提示并与 PC 算法的答案结合，提出了一种基于统计启发的投票模式来改善性能，并发现因果推理可以用于对概率查询进行合理解释，从而证明了基于知识的因果推理可能成为一种补充数据驱动因果发现的工具。

Jun, 2024

从查询工具到因果架构：利用大型语言模型从数据中进行先进的因果发现

本文提出了一种结合基于知识的 LLMs 因果分析和数据驱动因果结构学习的新框架，以构建因果结构学习的新范式，并介绍了一套广泛的提示组，以从给定变量中提取因果图，并评估 LLM 先前因果对从数据中恢复因果结构的影响

Jun, 2023

利用大语言模型高效发现因果图

提出了一种利用 LLMs 进行全因果图发现的新框架，通过广度优先搜索（BFS）方法，使用线性数量的查询，可在不同领域的因果图发现任务中获得具有前沿水平结果的高效性和效果。

Feb, 2024

大型语言模型对因果图发现的有效先验

整合专家提供的背景知识可以改善观测数据的因果结构发现，并且由于对比人工专家而言查询它们的成本较低，最近开始将大型语言模型（LLM）视为提供先验信息的来源。本研究首先提出了一组用于独立于下游算法评估 LLM 判断因果图发现的度量标准。其次，我们系统地研究了一组提示设计，使模型能够指定关于因果图结构的先验。最后，我们提出了一种将 LLM 先验整合到图发现算法中的通用方法，发现它们在常识基准和特别是用于评估边缘方向性时有助于提高性能。我们的研究突显了在该问题空间中使用 LLM 的潜力和局限性。

May, 2024

文本的零 - shot 因果图外推通过 LLMs

通过大型语言模型 (LLMs) 从自然语言中推断因果关系，并借助成对查询对因果图进行扩展，初始分析在生物医学文摘的基准上进行，结果有希望且支持在因果推断中采用 LLMs，尤其是在科学文本庞大且因果陈述经常隐含的医学领域。

Dec, 2023

用于因果决策的大型语言模型

通过对开源大语言模型进行微调，我们提出了 LLM4Causal，它能够识别因果任务、执行相应的函数并解释其数值结果，同时我们还提出了一种数据生成过程，用于更可控的 GPT 提示，并提供了两个指令微调数据集：因果检索基准和因果解释基准。通过三个案例研究，我们展示了 LLM4Causal 能够为因果问题提供端到端的解决方案并提供易于理解的答案。数值研究还显示，它在给定查询时具有寻找正确因果任务的显著能力。

Dec, 2023

因果推理与大型语言模型：为因果关系开辟新领域

本文探讨了大型语言模型（LLMs）的因果能力，证明它们在因果推理方面具有优越性能和独特的知识来源。同时，我们提供了技术来解释它们的鲁棒性，并认为 LLMs 可用作人类领域知识的代理以及降低因果分析中的人力成本。因此，LLMs 在推动因果研究、实践和采纳方面开辟了新的前沿。

Apr, 2023

跨越因果发现和大型语言模型的桥梁：综合方法与未来方向的全面调研

本文就 LLM（如 GPT4）在因果发现任务中的综合应用进行了全面的调查，系统地回顾和比较了现有的 LLM 利用方法，并强调了它们在推断因果结构中利用元数据和自然语言的创新使用。我们的分析揭示了 LLM 在增强传统 CD 方法和作为不完善专家方面的优势和潜力，同时也揭示了当前实践中存在的挑战和限制。此外，我们还确定了文献中的空白，并提出了旨在发挥 LLM 在因果研究中全部潜力的未来研究方向。据我们所知，这是第一次对 LLM 和 CD 之间的协同作用进行统一而详细的调查，为未来的进展奠定了基础。

Feb, 2024

大型语言模型能否构建因果图？

本论文评估了大型语言模型在辅助因果图发展方面的作用，在编码共同知识和经验的基础上，利用自动评分来识别潜在图中的边缘，以减轻因果路径捕获的繁琐流程，并探讨 LLL 对语义探测单词、语境和提示的敏感度。

Mar, 2023

在因果发现中整合大语言模型：统计因果方法

通过将领域专家知识作为约束嵌入到算法中，结合使用统计因果推断方法和基于知识的因果推断方法，通过大型语言模型进行统计因果提示，可以改善数据驱动的因果推断。该方法能够解决数据集偏差和限制等挑战，展示了大型语言模型在不同科学领域中改进数据驱动因果推断的潜力。

Feb, 2024