大型语言模型能否构建因果图?
本文研究了大型语言模型在生成因果图方面的能力,通过将条件独立性查询作为 LLM 的提示并与 PC 算法的答案结合,提出了一种基于统计启发的投票模式来改善性能,并发现因果推理可以用于对概率查询进行合理解释,从而证明了基于知识的因果推理可能成为一种补充数据驱动因果发现的工具。
Jun, 2024
整合专家提供的背景知识可以改善观测数据的因果结构发现,并且由于对比人工专家而言查询它们的成本较低,最近开始将大型语言模型(LLM)视为提供先验信息的来源。本研究首先提出了一组用于独立于下游算法评估 LLM 判断因果图发现的度量标准。其次,我们系统地研究了一组提示设计,使模型能够指定关于因果图结构的先验。最后,我们提出了一种将 LLM 先验整合到图发现算法中的通用方法,发现它们在常识基准和特别是用于评估边缘方向性时有助于提高性能。我们的研究突显了在该问题空间中使用 LLM 的潜力和局限性。
May, 2024
本文提出了一种结合基于知识的 LLMs 因果分析和数据驱动因果结构学习的新框架,以构建因果结构学习的新范式,并介绍了一套广泛的提示组,以从给定变量中提取因果图,并评估 LLM 先前因果对从数据中恢复因果结构的影响
Jun, 2023
本文探讨了大型语言模型(LLMs)的因果能力,证明它们在因果推理方面具有优越性能和独特的知识来源。同时,我们提供了技术来解释它们的鲁棒性,并认为 LLMs 可用作人类领域知识的代理以及降低因果分析中的人力成本。因此,LLMs 在推动因果研究、实践和采纳方面开辟了新的前沿。
Apr, 2023
因果推断在捕捉变量之间的因果关系方面显示出在增强自然语言处理模型的预测准确性、公平性、鲁棒性和解释性方面的潜力。生成大型语言模型在通过其先进的推理能力显著影响各种自然语言处理领域的同时,这篇综述从因果的角度对生成大型语言模型进行评估和改进,从而理解和提高生成大型语言模型的推理能力,解决公平性和安全性问题,提供解释支持,并处理多模态数据。与此同时,生成大型语言模型强大的推理能力可以推动因果推断领域的发展,帮助发现因果关系和因果效应估计。本综述旨在探索因果推断框架和生成大型语言模型之间的相互作用,强调它们共同潜力以进一步开发更高级、更公平的人工智能系统。
Mar, 2024
通过大型语言模型 (LLMs) 从自然语言中推断因果关系,并借助成对查询对因果图进行扩展,初始分析在生物医学文摘的基准上进行,结果有希望且支持在因果推断中采用 LLMs,尤其是在科学文本庞大且因果陈述经常隐含的医学领域。
Dec, 2023
应用大型语言模型 (LLMs) 对因果发现中边的方向性进行预测,我们研究表明,LLMs 可以准确地预测因果图中边的方向性,并优于现有的最先进方法,这一发现表明 LLMs 在推进因果发现并帮助我们更好地理解复杂系统方面具有重要作用。
Nov, 2023
结合因果知识图谱和大型语言模型,我们研究在心理学中引入了一种开创性的计算假设生成方法。我们利用大型语言模型分析了 43312 篇心理学文章,提取了因果关系对。通过应用链接预测算法,我们生成了 130 个关注 “幸福” 的心理学假设,并与由博士学者构思的研究想法以及仅由大型语言模型生成的假设进行了比较。有趣的是,我们结合使用大型语言模型和因果图的方法在新颖性方面明显超过了仅使用大型语言模型生成的假设(t (59) = 3.34, p=0.007,和 t (59) = 4.32, p<0.001,分别)。通过深度语义分析,这种一致性得到了进一步的证实。我们的结果表明,结合大型语言模型和机器学习技术,如因果知识图谱,可以在心理学中实现自动化的发现,从广泛的文献中提取新颖的见解。这项工作处于心理学和人工智能的交叉点上,为心理学研究中基于数据的假设生成跨出了新的丰富范式。
Feb, 2024
使用生成性人工智能从因果图生成文本描述的能力得到了实证调查,发现相对于基于事实的图形,因果文本描述在零 - shot 设置下更难生成,但使用少量示例进行模型训练与通过大型策划数据集进行微调获得类似的性能。
Mar, 2024