EMNLPSep, 2019

利用预训练语言表示和最少任务特定架构的生物医学关系提取

PDF
TL;DR本文介绍了我们参与 2019 年 BioNLP 开放共享任务的 AGAC Track，我们提供了 Task 3 的解决方案，该方案旨在提取 “基因 - 功能变化 - 疾病” 三元组，其中 “基因” 和 “疾病” 分别是特定基因和疾病的提及，而 “功能变化” 则是四种预定义的关系类型之一。我们的系统扩展了 BERT (Devlin 等，2018 年)，这是一种最先进的语言模型，它从大型未标记语料库中学习上下文语言表示，并且其参数可以被微调以解决具有极简附加架构的特定任务。我们将两个提及及其文本上下文作为 BERT 中的两个连续序列进行编码，由特殊符号分隔。然后我们使用一个线性层将其关系分类为五个类别 (四个预定义关系类型以及 ' 无关系 ')。尽管类别不平衡严重，我们的系统仍然在不需要特别工程特征的极简设置的情况下显著优于随机基线。
bionlpagac trackgene function change diseasebertlinear layer
发现论文，激发创造
  • 应用 BioBERT 从生物医学文献中提取基因与疾病的胚系关联以构建知识图谱

    这篇论文介绍了 SimpleGermKG，一种自动构建知识图谱的方法，该方法连接了生殖祖细胞基因和疾病。通过使用生物医学语料库上预训练的 BERT 模型 BioBERT，提取基因和疾病，并提出本体基于和规则基于算法对医学术语进行标准化和消歧。为了表示语义关系，采用了部分 - 整体关系方法将每个实体与其数据源连接，并以图形表示形式进行可视化。最后，讨论了知识图谱的应用、限制和未来对生殖细胞语料库的研究挑战，并展示了结果的图形可视化。

    Sep, 2023

  • 生物医学关系抽取方法和模型比较及其在知识图谱构建中的应用

    本研究介绍比较了在构建知识图谱中用于从生物医学文献中提取关系方面的一些基于规则和基于机器学习的方法，例如：朴素贝叶斯、随机森林、DistilBERT、PubMedBERT、T5、SciFive 等，通过实验检测不同方法的适用性和鲁棒性。结果表明，基于 transformers 的模型（如 PubMedBERT）在处理小型和不平衡的数据时表现较好。其中，在平衡数据上，PubMedBERT 模型的 F1 得分最高（0.92）。

    Jan, 2022

  • 一种用深度学习实现医疗关系抽取的混合方法

    本研究提出了一种深度学习方法，利用单词级和句子级表示同时提取治疗和问题之间的关系，以用于医疗决策支持系统、安全监测和新治疗发现。通过深度学习和基于规则的模型的联合结果获得了最终的关联关系。该系统在 I2b2 2010 关系提取任务的关系类别上取得了有前途的表现。

    Jun, 2018

  • 基于大型语言模型的半结构化网络文章的高吞吐量生物医学关系抽取

    利用大型语言模型的阅读理解能力和生物医学领域知识，开发了一个高通量的生物医学关系提取系统，将关系提取任务作为一个简单的二分类问题，通过外部语料库和世界知识进行判断，并从可靠医学网站中提取多种类型的生物医学关系。

    Dec, 2023

  • 同时自我关注所有提及以进行全文摘要生物关系提取

    提出一种使用自我注意力编码器模型同时预测文档中所有提及对之间关系的关系抽取方法，通过聚合提及对以形成实体对表示进行多实例学习，并增加弱标签数据来适应无提及级别注释的设置，实验证明该方法在生物文本信息抽取任务中达到了最先进性能。

    Feb, 2018

  • 多模态基于图的转换器框架用于生物医学关系抽取

    本研究介绍了一种使用多模态线索（如分子结构）帮助模型学习实体（蛋白质）的多组学生物信息的新颖框架，以图形为基础的多模态学习机制利用 GraphBERT 模型编码了文本和分子结构信息，并利用不同模态的基础特征进行端到端的学习。在生物医学领域的蛋白质相互作用任务中，我们的提出的广义方法发现受到了领域特定模态的额外获益。

    Jul, 2021

  • 基于联合学习的生物医学文献因果关系抽取

    本文提出了一种基于联合学习模型的生物医学因果关系提取方法，将实体关系提取和实体功能检测结合起来，以提高因果关系提取的性能，并且在模型训练阶段，为不同的功能类型分配不同的权重，实验结果表明，与其他系统相比，我们的联合学习系统在 BEL 语句提取中取得了最先进的表现。

    Aug, 2022

  • 关系抽取在临床文档理解中的应用

    该文介绍了一种文本挖掘框架，利用 Named Entity Recognition 和 Relation Extraction 模型对医学文献和数字临床记录进行处理，取得优异的实验结果，并构建了一个生物医学知识图谱。系统使用 Spark NLP 库提供的生产级、可伸缩、硬件优化、可训练和可调整的 NLP 框架。

    Dec, 2021

  • 利用实体 BIO 标签嵌入和多任务学习处理类别不平衡的关系抽取

    本研究提出一种多任务学习方法，利用实体 - 关系 - 类型三元组数据以及 BIO 标记嵌入来进行关系抽取，实验结果表明该方法可以有效地提高模型的 F1 得分。

    Jun, 2019

  • 使用预训练语言表示优化关系提取

    使用 TACRED 及 SemEval 2010 Task 8 数据集，TRE 通过使用预先训练的深度语言表示模型以及自注意力深度学习模型，从文本语料库中自动学习隐式语言特征并显著提高样本效率，从而实现了关系提取任务的新的最优结果。

    Jun, 2019