本文提出一种基于独立因果机制（ICM）原理的新梯度学习框架，理论和实验结果表明，这种学习方法可以在训练时利用不同环境之间的分布偏移，使神经网络更加鲁棒，并成功地找到与环境无关的关系，达到了对不稳定环境的泛化能力。

Oct, 2020

利用因果关系的两个概念在大型语言模型中学习独立因果机制，通过引入路由方案实现网络的专业化，并采用最小化互信息目标训练一个独立模块来学习抽象和领域不变机制，从而改善抽象和因果推理任务的超越分布性能。

Feb, 2024

本文提出了一个基于群论的框架来研究因果发现算法，统一概括了多种方法中独立原理（ICM）的解释和应用，通过随机泛群转换来评估原因 - 机制关系并证明该群论视角为研究数据生成机制提供了一个非常通用的工具，并可以直接应用于机器学习。

May, 2017

因果推断在捕捉变量之间的因果关系方面显示出在增强自然语言处理模型的预测准确性、公平性、鲁棒性和解释性方面的潜力。生成大型语言模型在通过其先进的推理能力显著影响各种自然语言处理领域的同时，这篇综述从因果的角度对生成大型语言模型进行评估和改进，从而理解和提高生成大型语言模型的推理能力，解决公平性和安全性问题，提供解释支持，并处理多模态数据。与此同时，生成大型语言模型强大的推理能力可以推动因果推断领域的发展，帮助发现因果关系和因果效应估计。本综述旨在探索因果推断框架和生成大型语言模型之间的相互作用，强调它们共同潜力以进一步开发更高级、更公平的人工智能系统。

Mar, 2024

本文就 LLM（如 GPT4）在因果发现任务中的综合应用进行了全面的调查，系统地回顾和比较了现有的 LLM 利用方法，并强调了它们在推断因果结构中利用元数据和自然语言的创新使用。我们的分析揭示了 LLM 在增强传统 CD 方法和作为不完善专家方面的优势和潜力，同时也揭示了当前实践中存在的挑战和限制。此外，我们还确定了文献中的空白，并提出了旨在发挥 LLM 在因果研究中全部潜力的未来研究方向。据我们所知，这是第一次对 LLM 和 CD 之间的协同作用进行统一而详细的调查，为未来的进展奠定了基础。

Feb, 2024

本文研究了大型语言模型在生成因果图方面的能力，通过将条件独立性查询作为 LLM 的提示并与 PC 算法的答案结合，提出了一种基于统计启发的投票模式来改善性能，并发现因果推理可以用于对概率查询进行合理解释，从而证明了基于知识的因果推理可能成为一种补充数据驱动因果发现的工具。

Jun, 2024

该研究是一项针对自然语言处理中的因果关系研究，旨在提供因果推理与语言处理的交叉研究概述，并介绍了文本统计学方面的挑战和机遇，以及如何利用因果推理来提高 NLP 模型的健壮性，公平性和可解释性。

Sep, 2021

通过提供一种语言描述训练数据如何影响预测的因果框架，我们研究了提取预训练语言模型中事实知识的问题。研究表明，诸如共现计数等简单数据统计确实会影响预测结果，暗示此类模型依赖于表浅启发式。此结果强调了研究数据集和了解 NLP 模型的因果性的重要性。

Jul, 2022

这篇论文提出了一个新的任务 Corr2Cause 和一个数据集来评估大型语言模型（LLMs）的纯因果推理能力，并表明这些模型的因果推理能力很不足，尽管通过 fine-tuning 可以部分缓解这个问题，但它们仍不能在变量的名称和文本表达在测试集中不同的情况下泛化推理。

Jun, 2023

本文探讨了如何评估语义特征对语言模型预测的因果效应以及如何利用因果分析方法构建比较模型来评估 NLI 任务，强调因为可解释性和模型评估的需要，对于具有足够结构化和规律性的推理模式进行系统分析是非常有价值的

May, 2023