LLM导向的因果推断

Oct, 2023

Causal Inference Using LLM-Guided Discovery

Aniket Vashishtha, Abbavaram Gowtham Reddy, Abhinav Kumar, Saketh Bachu, Vineeth N Balasubramanian...

TL;DR基于观察数据的因果推断核心是确定可靠的因果图。本文研究表明，仅凭因果顺序而非完整图信息便足以进行因果效应推断。同时，我们利用大型语言模型（LLMs）作为虚拟领域专家，提出了一种从LLMs中获取因果顺序的鲁棒技术。实验证明，与传统的发现算法相比，我们的方法显著提高了因果顺序的准确性，突显了LLMs在各个领域增强因果推断的潜力。

Abstract

At the core of causal inference lies the challenge of determining reliable causal graphs solely based on observational data. Since the well-known backdoor criterion depends on the graph, any errors in the graph c

发现论文，激发创造

通过拓扑排序进行因果发现的扩散模型

提出了一种利用扩散概率模型的拓扑序算法(DiffAN)来进行因果发现，可以在提供准确有限子集的情况下更新学习到的海森矩阵，并且得到了更高的可扩展性，可以处理高达500个节点和10^5个样本数据集，并表现出与最先进的因果发现方法相当的性能。

Oct, 2022

从查询工具到因果架构：利用大型语言模型从数据中进行先进的因果发现

本文提出了一种结合基于知识的LLMs因果分析和数据驱动因果结构学习的新框架，以构建因果结构学习的新范式，并介绍了一套广泛的提示组，以从给定变量中提取因果图，并评估LLM先前因果对从数据中恢复因果结构的影响

Jun, 2023

大语言模型辅助的因果结构学习

迭代式LLM监督CSL（ILS-CSL）框架通过将基于LLM的因果推理与CSL相结合，并从LLM中获得反馈，从而改进了因果有向无环图（DAG）的学习，提供了更强效的因果发现方法，并在八个真实世界数据集上的综合评估中表现出优越的性能，展示了其推动因果发现领域进步的潜力。

Nov, 2023

利用大语言模型高效发现因果图

提出了一种利用LLMs进行全因果图发现的新框架，通过广度优先搜索（BFS）方法，使用线性数量的查询，可在不同领域的因果图发现任务中获得具有前沿水平结果的高效性和效果。

Feb, 2024

基于检索增强生成的大型语言模型的因果图发现

使用大语言模型从科学文献中提取关联关系，构建高质量的因果图。

Feb, 2024

ALCM: 自主LLM增强因果发现框架

通过自动化生成更稳健、准确和可解释的因果图，本研究展示了一种新的框架——自主 LLM（Large Language Models）增强因果推理框架（ALCM），整合了数据驱动的因果推理算法和LLMs，以提高因果推理的效果，并强调了利用LLMs的因果推理能力的新的研究方向。

May, 2024

大型语言模型对因果图发现的有效先验

整合专家提供的背景知识可以改善观测数据的因果结构发现，并且由于对比人工专家而言查询它们的成本较低，最近开始将大型语言模型（LLM）视为提供先验信息的来源。本研究首先提出了一组用于独立于下游算法评估LLM判断因果图发现的度量标准。其次，我们系统地研究了一组提示设计，使模型能够指定关于因果图结构的先验。最后，我们提出了一种将LLM先验整合到图发现算法中的通用方法，发现它们在常识基准和特别是用于评估边缘方向性时有助于提高性能。我们的研究突显了在该问题空间中使用LLM的潜力和局限性。

May, 2024

基于约束的因果发现的大型语言模型

本文研究了大型语言模型在生成因果图方面的能力，通过将条件独立性查询作为LLM的提示并与PC算法的答案结合，提出了一种基于统计启发的投票模式来改善性能，并发现因果推理可以用于对概率查询进行合理解释，从而证明了基于知识的因果推理可能成为一种补充数据驱动因果发现的工具。

Jun, 2024

利用大语言模型假设缺失的因果变量

本研究针对科学发现过程中假设生成的高成本和需要领域知识的挑战，提出了一种新任务，利用部分因果图中的缺失变量生成假设。研究显示，大语言模型在假设因果关系中的中介变量方面表现强劲，但在生成因果变量方面则表现不足，同时一些开源模型在某些方面超越闭源的GPT-4模型。这一发现为科学发现中的因果推理提供了新的视角和工具。

Sep, 2024

因果图到大型语言模型：评估大型语言模型对因果查询的能力

本研究针对大型语言模型（LLMs）在因果推理中的应用不足的问题，提出了一个全面的基准测试CausalGraph2LLM，以评估其理解因果图的能力。研究发现，尽管LLMs在此领域表现出一定潜力，但对编码的敏感性显著，可靠模型如GPT-4和Gemini-1.5的表现差异可达60%。

Oct, 2024