Causal BERT: 文本中事件因果检测的语言模型

Dec, 2020

Causal BERT: 文本中事件因果检测的语言模型

Causal BERT : Language models for causality detection between events expressed in text

Vivek Khetan, Roshni Ramnani, Mayuresh Anand, Shubhashis Sengupta, Andrew E.Fano

TL;DR本篇论文探讨了使用句子语境与事件信息以及利用掩码事件语境和领域内外数据分布来识别自然语言文本中事件之间的因果关系，并证明该方法在三个不同的数据集上均取得了最新技术的表现，可用于从非结构化文本中提取因果关系图或建立事件链。

Abstract

causality understanding between events is a critical natural language processing task that is helpful in many areas, including health care, business risk management and finance. On close examination, one can find a huge amount of textual content both in the form of formal documents or

causality natural language processing implicit relationships language model state-of-art performance

发现论文，激发创造

CausaLM：通过反事实语言模型解释因果模型

文章提出了 CausaLM 框架，基于 fine-tuning 的 deep contextualized embedding models 通过辅助对抗性训练任务，学习给定概念的反事实表示，用于估计其对模型性能的真实因果效应。我们的方法的副产品是一种语言表示模型，可以减轻数据中固有的不良偏差。

May, 2020

因果关系：大型语言模型能真正理解因果关系吗？

提出了一种新颖的架构称为 “具有反事实分析的上下文感知推理增强框架”，通过将显式和隐式因果推理相结合，利用 ConceptNet 和反事实语句来提高因果推理和可解释性，进一步提供对因果关系的深度理解和促进可解释性。

Feb, 2024

从自然语言文本中自动提取因果关系：综述

本文综述了早期人类构造的语言和句法规则以及最新机器学习技术在提取因果关系上的应用，并分析了它们的优劣，建议未来的研究方向。

May, 2016

针对时间序列事件从文本中检测和解释原因

提出一种基于时间序列的 Granger 因果关系并结合文本数据进行因果关系的提取，建立事实间的因果联系，使用神经元的推理算法训练常识因果关系对下一个因果步骤的预测，并取得了实验证据支持该方法从时间序列文本特征中提取有意义的因果联系并生成适当解释

Jul, 2017

计算机故事理解的关键：事件因果关系

利用大型语言模型 (LLM) 的最新进展，我们提出了首个事件因果识别方法，从 GPT 中设计特定提示以提取事件因果关系。根据 GLUCOSE 数据集中的人工注释事件因果关系，我们的技术表现与监督模型相当，同时易于推广到不同类型和长度的故事。提取的因果关系在故事质量评估上带来了 5.7% 的提升和 8.7% 的故事视频文本对齐改进，我们的发现表明事件因果在计算机故事理解中有巨大的潜力。

Nov, 2023

跨领域评估因果知识提取方法

从文本中提取相关原因和效果，检测因果关系的任务中，通过对三种序列标记模型进行彻底分析，并将其与基于跨度的因果性抽取方法进行比较，我们发现，与以往的复杂架构的最新模型相比，预训练语言模型（如 BERT）提供了显著的性能提升。我们观察到，基于跨度的模型在所有 4 个来自不同领域的数据集中，对于不同类型的因果短语表现更好。

Aug, 2023

自然语言处理中的因果推断：估计、预测、解释及其它

该研究是一项针对自然语言处理中的因果关系研究，旨在提供因果推理与语言处理的交叉研究概述，并介绍了文本统计学方面的挑战和机遇，以及如何利用因果推理来提高 NLP 模型的健壮性，公平性和可解释性。

Sep, 2021

使用多注释决策进行因果检测

该论文研究了利用基于 BERT 模型的自动化抽取技术进行抗议新闻因果关系检测的方法，提出了利用自定义的交叉熵损失函数的方法，实验结果表明 BERT-based-uncased 在 Causal News Corpus 数据集上的 F1 分数达到了 0.8501。

Oct, 2022

神经 NLI 模型中自然逻辑特征的因果效应估计

本文探讨了如何评估语义特征对语言模型预测的因果效应以及如何利用因果分析方法构建比较模型来评估 NLI 任务，强调因为可解释性和模型评估的需要，对于具有足够结构化和规律性的推理模式进行系统分析是非常有价值的

May, 2023

指导式因果关系生成

本研究提出了一种基于条件的文本生成框架，依赖于 CausalBank 和 Cause Effect Graph 两个新资源开发，并使用词汇约束解码来支持析取正约束，利用 CausalBank 对最近一种最先进的因果推理模型的编码器进行持续训练，在不改变模型架构的情况下在 COPA 挑战集上取得了 3 分的提高。

Jul, 2021