Feb, 2022

基于 Transformer 的方法：从非结构化文本到因果知识图谱

PDF
TL;DR本文介绍了基于 transformer 的 NLP 架构，该架构可以联合提取包括语言描述、定性因果关系、约束限定词、词义在内的知识图谱，以及说明其在真实世界中的准确性和实用性。
qualitative causal relationshipsknowledge graphstransformer-based architecturegraph-based reasoningtextual inputs
发现论文，激发创造
  • 基于 Transformer 的 NLP 提取定性因果结构

    本文介绍了一种基于 Transformer 的 NLP 结构，可以联合识别和提取 (1) 语言描述的变量或因素，(2) 这些变量之间的定性因果关系，(3) 限制这些因果关系的修饰语和数量词，从而在学术出版物、新闻文章和社交媒体等多个用例中展示了这种方法并获得了有前途的结果。

    Aug, 2021

  • 基于 Transformer 的 NLI 模型中的自然逻辑特征因果效应估计

    利用因果效应估计策略衡量上下文干预和插入词对于推理标签的影响，通过广泛的干预研究验证模型对不相关变化的稳健性和对有影响变化的敏感性。

    Apr, 2024

  • 因果深度学习：因果胶囊和张量转换器

    使用因子分析导出一组因果深度神经网络，包括神经元组成的因果胶囊和张量变换器，适用于前向和反向因果问题，以及可能的异步并行计算。

    Jan, 2023

  • 使用图形 transformer 从知识图谱生成文本

    本文介绍了一种新型图形转换编码器，可处理知识图谱等非层次性图形的内容，应用于科学文本领域的图 - 文本生成，评价结果表明，该技术可以产生比竞争的编码解码方法更具信息量且结构更好的文本。

    Apr, 2019

  • 从新闻构建和解释因果知识图谱

    本文提出了一种从新闻中构建因果知识图谱的方法，其中采用了基于 BERT 的抽取模型和主题模型等技术，最终实现了高召回率、高精度和高连通性的知识图谱，有效地捕捉和传达因果关系。

    May, 2023

  • 从生物神经动力学中发现因果关系的注意力机制

    该研究探索了使用转换模型学习具有复杂非线性动态的网络中的 Granger 因果关系的潜力，以神经生物学和生物物理学网络为例；研究主要集中于基于模拟神经动力学的概念验证研究，结果表明，用于预测神经群体动力学的转换模型的交叉注意模块有效地捕捉到神经元之间的因果关系，准确性至少与最流行的 Granger 因果分析方法相当。尽管承认真实世界的神经生物学数据将带来进一步的挑战，包括动态连接性和未观察到的变化，但该研究对于转换模型在神经科学中因果表示学习的实用性提供了鼓舞人心的初步展示。

    Nov, 2023

  • 使用变形金刚对心理健康帖子进行因果分类

    本研究使用 transformer 模型对 CAMS 数据集进行预训练的迁移学习，改善了现有分类器的效率，准确性取得了提升，证明了在社交媒体上对于心理健康分析中的因果关系的识别是必要的。

    Jan, 2023

  • 用大型语言模型叙述因果图

    使用生成性人工智能从因果图生成文本描述的能力得到了实证调查，发现相对于基于事实的图形，因果文本描述在零 - shot 设置下更难生成，但使用少量示例进行模型训练与通过大型策划数据集进行微调获得类似的性能。

    Mar, 2024

  • 利用图变换网络对复杂文档布局中的文本语义进行建模

    本文提出了一种基于图形表示的模型，并演示了我们不仅可以跨文档检索语义相似的信息，而且我们生成的嵌入空间也捕获了有用的语义信息，类似于仅适用于文本序列的语言模型。

    Feb, 2022

  • 具有句法信息的异构图变换器问答

    本研究探讨了如何在不需要从头开始的情况下，在预训练的神经语言模型中添加显式的语言学信息，以提高其性能，并提出了一种基于转换器的神经语言模型，通过异构图转换器对模型进行扩展和微调，这可以通过添加句法信息来实现，而基于斯坦福问答数据集的实证性能评估表明了该方法的竞争性。此方法包括语义和语用方面的信息，具有可扩展性。

    Apr, 2022