Nov, 2023

CRAB：评估现实世界事件之间因果关系的强度

PDF
TL;DR通过引入 CRAB（Causal Reasoning Assessment Benchmark）来评估自然语言处理中事件因果关系的理解能力，发现大部分语言模型在复杂因果结构中的因果推理上表现不佳。
narrativescausal reasoningcausal reasoning assessment benchmarklanguage modelscomplex causal structures
发现论文，激发创造
  • 通过博客和电影推断细粒度事件因果关系

    本文主要针对通过两种方法 —— 获取常见事件因果关系的知识库和理解特定故事或宏事件，通过知识获取方法研究以认识第一人称叙述和电影场景描述等叙事类型中的事件之间因果关系。实验结果表明我们的方法可以学习细粒度的因果关系。

    Aug, 2017

  • 程序性文本中实体和事件的因果推理

    本研究提出 CREPE 作为第一个事件因果推理和实体状态的基准测试，并在其中发现大多数语言模型表现低迷，但通过将事件表示为编程语言，并在表示中注入实体和事件之间的因果关系，提高了模型的性能。

    Jan, 2023

  • CEBaB：评估现实概念对自然语言处理模型行为的因果影响

    本研究将模型解释问题视为因果推断问题，并引入新的基准数据集 CEBaB 来评估自然语言处理中基于概念的解释方法的质量，从而比较涵盖不同假设和概念的问题的质量，以建立自然度量方法。

    May, 2022

  • 针对细粒度因果推理和问答的探索

    本文介绍了一种新的精细化因果推理数据集，并在自然语言处理中提出了一系列新的预测任务，例如因果检测、事件因果提取和因果问答。作者通过大量实验和分析表明，数据集中的复杂关系对最先进的方法带来了独特的挑战，并强调了潜在的研究机会，特别是在发展 "因果思维" 方法方面。

    Apr, 2022

  • CLEVRER-Humans: 以人的方式描述物理和因果事件

    构建能推理物理事件及其因果关系的机器对于与物质世界进行灵活交互至关重要。为了解决现有物理和因果推理基准的缺点，我们提出了一种视频推理数据集，以人类标签为基础，用于对物理事件的因果判断。

    Oct, 2023

  • Causal BERT: 文本中事件因果检测的语言模型

    本篇论文探讨了使用句子语境与事件信息以及利用掩码事件语境和领域内外数据分布来识别自然语言文本中事件之间的因果关系，并证明该方法在三个不同的数据集上均取得了最新技术的表现，可用于从非结构化文本中提取因果关系图或建立事件链。

    Dec, 2020

  • 计算机故事理解的关键：事件因果关系

    利用大型语言模型 (LLM) 的最新进展，我们提出了首个事件因果识别方法，从 GPT 中设计特定提示以提取事件因果关系。根据 GLUCOSE 数据集中的人工注释事件因果关系，我们的技术表现与监督模型相当，同时易于推广到不同类型和长度的故事。提取的因果关系在故事质量评估上带来了 5.7% 的提升和 8.7% 的故事视频文本对齐改进，我们的发现表明事件因果在计算机故事理解中有巨大的潜力。

    Nov, 2023

  • 因果新闻语料库：标注新闻事件句中的因果关系

    该研究提出了一种用于事件因果关系注释的注释模式，为此构建了一个名为 Causal News Corpus（CNC）的语料库，并使用神经网络在测试集上获得了 81.20％ F1 得分，CNC 是对外部语料库可转移的，也是文本挖掘研究人员的有价值资源。

    Apr, 2022

  • CRASS: 用于测试大型语言模型反事实推理的新型数据集和基准

    介绍了使用 “CRASS” 数据集和基于问题的反事实推理条件作为一种新颖且强大的评估大型语言模型的工具的基准，其中包括与验证过的人类基准的得分支持。通过对六种最先进的模型进行测试，结果表明它对这些模型提出了有效挑战，并为它们的改进开辟了相当大的空间。

    Dec, 2021

  • 针对时间序列事件从文本中检测和解释原因

    提出一种基于时间序列的 Granger 因果关系并结合文本数据进行因果关系的提取，建立事实间的因果联系，使用神经元的推理算法训练常识因果关系对下一个因果步骤的预测，并取得了实验证据支持该方法从时间序列文本特征中提取有意义的因果联系并生成适当解释

    Jul, 2017