探究大型语言模型的因果关系操控
我们分析了大型语言模型（LLMs) 回答因果问题的能力以及它们在三种类型的因果问题中的优势和劣势。我们认为，目前的LLMs可以结合现有的因果知识回答因果问题，但它们还不能满足于发现新的知识或高精度的决策任务。我们探讨了可能的未来方向和机会，例如启用显式和隐式因果模块以及深度因果感知LLMs。这些不仅能够使LLMs回答更多不同类型的因果问题，也能使LLMs在一般情况下更加值得信赖和高效。
Apr, 2023
这篇论文提出了一个新的任务Corr2Cause和一个数据集来评估大型语言模型（LLMs）的纯因果推理能力，并表明这些模型的因果推理能力很不足，尽管通过fine-tuning可以部分缓解这个问题，但它们仍不能在变量的名称和文本表达在测试集中不同的情况下泛化推理。
Jun, 2023
通过对开源大语言模型进行微调，我们提出了LLM4Causal，它能够识别因果任务、执行相应的函数并解释其数值结果，同时我们还提出了一种数据生成过程，用于更可控的GPT提示，并提供了两个指令微调数据集：因果检索基准和因果解释基准。通过三个案例研究，我们展示了LLM4Causal能够为因果问题提供端到端的解决方案并提供易于理解的答案。数值研究还显示，它在给定查询时具有寻找正确因果任务的显著能力。
Dec, 2023
本文就LLM（如GPT4）在因果发现任务中的综合应用进行了全面的调查，系统地回顾和比较了现有的LLM利用方法，并强调了它们在推断因果结构中利用元数据和自然语言的创新使用。我们的分析揭示了LLM在增强传统CD方法和作为不完善专家方面的优势和潜力，同时也揭示了当前实践中存在的挑战和限制。此外，我们还确定了文献中的空白，并提出了旨在发挥LLM在因果研究中全部潜力的未来研究方向。据我们所知，这是第一次对LLM和CD之间的协同作用进行统一而详细的调查，为未来的进展奠定了基础。
Feb, 2024
因果推断在捕捉变量之间的因果关系方面显示出在增强自然语言处理模型的预测准确性、公平性、鲁棒性和解释性方面的潜力。生成大型语言模型在通过其先进的推理能力显著影响各种自然语言处理领域的同时，这篇综述从因果的角度对生成大型语言模型进行评估和改进，从而理解和提高生成大型语言模型的推理能力，解决公平性和安全性问题，提供解释支持，并处理多模态数据。与此同时，生成大型语言模型强大的推理能力可以推动因果推断领域的发展，帮助发现因果关系和因果效应估计。本综述旨在探索因果推断框架和生成大型语言模型之间的相互作用，强调它们共同潜力以进一步开发更高级、更公平的人工智能系统。
Mar, 2024
本研究提出了一个全面的基准测试系统CausalBench，旨在评估大型语言模型在理解因果关系方面的能力。通过包含三个与因果学习相关的任务，并结合不同难度的任务场景，该系统能够方便地比较多种大型语言模型与经典因果学习算法的性能。研究利用CausalBench评估了19种领先的大型语言模型，揭示了它们在各个方面的优势和弱点，并定量地探索了它们在不同场景中能力的上限。此外，研究还定量地呈现了不同信息源之间的差异，并揭示了大型语言模型在文本上下文和数值领域中对因果理解能力的差距。
Apr, 2024
本文研究了影响大型语言模型（LLM）在因果发现任务中表现的因素，特别是预训练语料库中因果关系的频率如何影响模型的准确性。研究发现，因果提及频率越高，模型性能越好，表明训练过程中对因果信息的广泛接触提升了模型的因果发现能力。此外，文章还探讨了上下文对因果关系有效性的影响，揭示在不同上下文中相同因果关系可能导致模型的预测出现差异。
Jul, 2024
本研究探讨了因果推断在医学和经济学等多个领域的挑战，并指出传统方法的局限性。通过评估大型语言模型（LLMs）在因果推断任务中的应用，本文总结了主要的因果问题和方法，并讨论了其潜在影响，指出LLMs在推动因果推断方法学进步中的重要角色。
Sep, 2024