ALCM: 自主LLM增强因果发现框架
本文探讨了大型语言模型(LLMs)的因果能力,证明它们在因果推理方面具有优越性能和独特的知识来源。同时,我们提供了技术来解释它们的鲁棒性,并认为LLMs可用作人类领域知识的代理以及降低因果分析中的人力成本。因此,LLMs在推动因果研究、实践和采纳方面开辟了新的前沿。
Apr, 2023
本文提出了一种结合基于知识的LLMs因果分析和数据驱动因果结构学习的新框架,以构建因果结构学习的新范式,并介绍了一套广泛的提示组,以从给定变量中提取因果图,并评估LLM先前因果对从数据中恢复因果结构的影响
Jun, 2023
基于观察数据的因果推断核心是确定可靠的因果图。本文研究表明,仅凭因果顺序而非完整图信息便足以进行因果效应推断。同时,我们利用大型语言模型(LLMs)作为虚拟领域专家,提出了一种从LLMs中获取因果顺序的鲁棒技术。实验证明,与传统的发现算法相比,我们的方法显著提高了因果顺序的准确性,突显了LLMs在各个领域增强因果推断的潜力。
Oct, 2023
通过对物理启发的合成数据进行实验,我们在本文中实证了基于预训练语言模型的因果推理的前述局限性,并提出了一种新的框架,将来自预训练语言模型的先验知识与因果发现算法结合起来,以初始化用于因果发现的邻接矩阵,并利用先验知识进行正则化,我们提出的框架不仅通过集成预训练语言模型和因果发现来提高性能,还建议如何利用预训练语言模型提取的先验知识与现有的因果发现算法结合。
Nov, 2023
迭代式LLM监督CSL(ILS-CSL)框架通过将基于LLM的因果推理与CSL相结合,并从LLM中获得反馈,从而改进了因果有向无环图(DAG)的学习,提供了更强效的因果发现方法,并在八个真实世界数据集上的综合评估中表现出优越的性能,展示了其推动因果发现领域进步的潜力。
Nov, 2023
通过将领域专家知识作为约束嵌入到算法中,结合使用统计因果推断方法和基于知识的因果推断方法,通过大型语言模型进行统计因果提示,可以改善数据驱动的因果推断。该方法能够解决数据集偏差和限制等挑战,展示了大型语言模型在不同科学领域中改进数据驱动因果推断的潜力。
Feb, 2024
本文就LLM(如GPT4)在因果发现任务中的综合应用进行了全面的调查,系统地回顾和比较了现有的LLM利用方法,并强调了它们在推断因果结构中利用元数据和自然语言的创新使用。我们的分析揭示了LLM在增强传统CD方法和作为不完善专家方面的优势和潜力,同时也揭示了当前实践中存在的挑战和限制。此外,我们还确定了文献中的空白,并提出了旨在发挥LLM在因果研究中全部潜力的未来研究方向。据我们所知,这是第一次对LLM和CD之间的协同作用进行统一而详细的调查,为未来的进展奠定了基础。
Feb, 2024
提出了一种能在工业场景中发现时间因果关系的 RealTCD 框架,通过遮蔽和正则化的策略,采用基于得分的时间因果发现方法,无需依赖干预目标进行根本原因分析,并结合大型语言模型和领域知识来提取系统中隐藏的文本信息中的元知识,以提高发现质量。在模拟和真实数据集上进行了大量实验证明了 RealTCD 框架相对于现有基准的优越性。
Apr, 2024
本文研究了大型语言模型在生成因果图方面的能力,通过将条件独立性查询作为LLM的提示并与PC算法的答案结合,提出了一种基于统计启发的投票模式来改善性能,并发现因果推理可以用于对概率查询进行合理解释,从而证明了基于知识的因果推理可能成为一种补充数据驱动因果发现的工具。
Jun, 2024