Jul, 2021

CausalBERT：使用最少的监督注入因果知识到预训练模型中

PDF
TL;DR本文致力于探索如何把因果知识注入到预训练模型中，扩展了 CausalBERT 的思想并在各类数据集上进行实验验证，证明其有效性以及在因果推断任务上实现了新的性能提升。
nlppre-trained modelscausal knowledgecausalbertcausal inference
发现论文，激发创造
  • 知识增强语言模型用于因果关系分类

    本文研究如何将常识知识加入预训练的语言模型中，并发现这种方式可以提高模型在因果关系分类和常识因果推理任务中的表现。

    Dec, 2021

  • 知识图谱融合用于语言模型微调

    探索将知识图谱注入 Bert 模型的微调阶段来提高语言理解，并通过实验证明注入相关高质量知识对于特定任务有显著的性能提升。

    Jun, 2022

  • Causal BERT: 文本中事件因果检测的语言模型

    本篇论文探讨了使用句子语境与事件信息以及利用掩码事件语境和领域内外数据分布来识别自然语言文本中事件之间的因果关系，并证明该方法在三个不同的数据集上均取得了最新技术的表现，可用于从非结构化文本中提取因果关系图或建立事件链。

    Dec, 2020

  • 跨领域评估因果知识提取方法

    从文本中提取相关原因和效果，检测因果关系的任务中，通过对三种序列标记模型进行彻底分析，并将其与基于跨度的因果性抽取方法进行比较，我们发现，与以往的复杂架构的最新模型相比，预训练语言模型（如 BERT）提供了显著的性能提升。我们观察到，基于跨度的模型在所有 4 个来自不同领域的数据集中，对于不同类型的因果短语表现更好。

    Aug, 2023

  • 利用先验知识指导 BERT 在语义文本匹配任务中的注意力

    通过将先前的知识直接注入到 BERT 的注意力机制中，我们提出了一种简单而有效的方法来提高其在语义文本匹配任务中的性能，并在数据稀缺时表现最为显著。

    Feb, 2021

  • (大型) 语言模型中实体偏见的因果视角

    通过提出特定的结构因果模型（SCM）及其上的因果干预技术，在白盒和黑盒模型中缓解了实体偏差，该干预通过干扰原始实体与邻近实体来减少与原始实体有关的特定偏见信息，同时仍保留来自相似实体的充分共同预测信息，在关系抽取任务上，我们的训练时间干预将 RoBERTa 的 F1 得分在 EntRED 上提高了 5.7 分，在 GPT-3.5 上，我们的上下文干预有效减少了参数化知识和上下文知识之间的知识冲突，并将 F1 得分在一个具有挑战性的测试集中提高了 9.14 分。

    May, 2023

  • 通过因果推断保留预训练语言模型中的常识知识

    通过在因果图上探索，本文发现灾难性遗忘的关键在于缺失来自预训练数据的因果影响，提出了一种统一的微调目标以恢复因果关系，将该方法实现在常识 QA 上的结果表明其有效性。

    Jun, 2023

  • 基于 Transformer 的方法：从非结构化文本到因果知识图谱

    本文介绍了基于 transformer 的 NLP 架构，该架构可以联合提取包括语言描述、定性因果关系、约束限定词、词义在内的知识图谱，以及说明其在真实世界中的准确性和实用性。

    Feb, 2022

  • 基于 Transformer 的 NLI 模型中的自然逻辑特征因果效应估计

    利用因果效应估计策略衡量上下文干预和插入词对于推理标签的影响，通过广泛的干预研究验证模型对不相关变化的稳健性和对有影响变化的敏感性。

    Apr, 2024

  • 针对细粒度因果推理和问答的探索

    本文介绍了一种新的精细化因果推理数据集，并在自然语言处理中提出了一系列新的预测任务，例如因果检测、事件因果提取和因果问答。作者通过大量实验和分析表明，数据集中的复杂关系对最先进的方法带来了独特的挑战，并强调了潜在的研究机会，特别是在发展 "因果思维" 方法方面。

    Apr, 2022