利用语言模型作为不完美专家的因果推断
本文研究了大型语言模型在生成因果图方面的能力,通过将条件独立性查询作为 LLM 的提示并与 PC 算法的答案结合,提出了一种基于统计启发的投票模式来改善性能,并发现因果推理可以用于对概率查询进行合理解释,从而证明了基于知识的因果推理可能成为一种补充数据驱动因果发现的工具。
Jun, 2024
我们分析了大型语言模型(LLMs) 回答因果问题的能力以及它们在三种类型的因果问题中的优势和劣势。我们认为,目前的 LLMs 可以结合现有的因果知识回答因果问题,但它们还不能满足于发现新的知识或高精度的决策任务。我们探讨了可能的未来方向和机会,例如启用显式和隐式因果模块以及深度因果感知 LLMs。这些不仅能够使 LLMs 回答更多不同类型的因果问题,也能使 LLMs 在一般情况下更加值得信赖和高效。
Apr, 2023
本文提出了一种结合基于知识的 LLMs 因果分析和数据驱动因果结构学习的新框架,以构建因果结构学习的新范式,并介绍了一套广泛的提示组,以从给定变量中提取因果图,并评估 LLM 先前因果对从数据中恢复因果结构的影响
Jun, 2023
本论文评估了大型语言模型在辅助因果图发展方面的作用,在编码共同知识和经验的基础上,利用自动评分来识别潜在图中的边缘,以减轻因果路径捕获的繁琐流程,并探讨 LLL 对语义探测单词、语境和提示的敏感度。
Mar, 2023
整合专家提供的背景知识可以改善观测数据的因果结构发现,并且由于对比人工专家而言查询它们的成本较低,最近开始将大型语言模型(LLM)视为提供先验信息的来源。本研究首先提出了一组用于独立于下游算法评估 LLM 判断因果图发现的度量标准。其次,我们系统地研究了一组提示设计,使模型能够指定关于因果图结构的先验。最后,我们提出了一种将 LLM 先验整合到图发现算法中的通用方法,发现它们在常识基准和特别是用于评估边缘方向性时有助于提高性能。我们的研究突显了在该问题空间中使用 LLM 的潜力和局限性。
May, 2024
COAT utilizes large language models to extract potential causal factors from unstructured data and assists in uncovering underlying causal systems.
Feb, 2024
通过大型语言模型 (LLMs) 从自然语言中推断因果关系,并借助成对查询对因果图进行扩展,初始分析在生物医学文摘的基准上进行,结果有希望且支持在因果推断中采用 LLMs,尤其是在科学文本庞大且因果陈述经常隐含的医学领域。
Dec, 2023
使用生成性人工智能从因果图生成文本描述的能力得到了实证调查,发现相对于基于事实的图形,因果文本描述在零 - shot 设置下更难生成,但使用少量示例进行模型训练与通过大型策划数据集进行微调获得类似的性能。
Mar, 2024
提出了一种新颖的架构称为 “具有反事实分析的上下文感知推理增强框架”,通过将显式和隐式因果推理相结合,利用 ConceptNet 和反事实语句来提高因果推理和可解释性,进一步提供对因果关系的深度理解和促进可解释性。
Feb, 2024
本研究考察了外界专家知识增强因果关系挖掘模型的影响,结果表明校准模型错误的知识可以显著提高挖掘效果,对于挖掘因果关系而言,对影响边的约束比对非影响边的约束对性能的提升更为显著。
Jan, 2023