Aug, 2023

LASIGE 和 UNICAGE 对 NASA LitCoin NLP 竞赛的解决方案

PDF
TL;DR本研究介绍了将工业数据工程解决方案与生物医学命名实体识别和关系抽取系统相结合，通过引入来自其他数据集和生物医学本体知识的附加训练数据，以解决生物医学自然语言处理中的文本处理问题。我们在 2022 年 LitCoin NLP 挑战中使用了这一流程，并与大约 200 个参赛团队合作，最终获得了第七名的奖项，彰显了学术界（LASIGE）与工业界（Unicage）之间成功的合作。
biomedical natural language processingdata engineering solutionsnamed entity recognitionrelation extractionlitcoin nlp challenge
发现论文，激发创造
  • UMLS-KGI-BERT: 基于数据中心的转换器中的生物医学实体识别知识集成

    通过从 UMLS 中提取文本序列，该工作为丰富生物医学变压器编码器的语言表示做出了数据为中心的范例贡献，从而将基于图的学习目标与掩码语言预训练相结合，初步实验结果表明该框架提高了多个生物医学和临床命名实体识别任务的下游性能。

    Jul, 2023

  • 使用词汇 - 语义约束生成生物医学自然语言推理数据集用于对抗样本

    利用新型半监督过程从现有生物医学数据集生成一个针对复杂决策中自然语言推理问题的数据集 BioNLI，进行负样本生成的实验，准确度中等，在不同的负样本分类上表现不同。

    Oct, 2022

  • Sebis 参加 SemEval-2023 第 7 项任务：针对临床试验报告的自然语言推理和证据检索的联合系统

    本研究旨在研究开发一个基于 NLP 技术，应用于临床试验数据中的证据检索和自然语言推理任务的系统。该研究介绍了两个系统，一个是将两个任务分别建模的 Pipeline 系统，另一个是同时学习两个任务并采用共享表示和多任务学习方法的 Joint 系统。最终系统采用集成学习方法来结合这两个系统的输出，并提供了结果分析。

    Apr, 2023

  • VANER：利用大型语言模型进行多功能和自适应的生物医学实体识别

    利用开源的大型语言模型 LLaMA2 作为骨干模型，并设计特定指令来区分不同类型的实体和数据集，通过将骨干模型理解指令与序列标注技术相结合，使用多个数据集来训练一个能够提取各种类型实体的模型 VANER，集成外部实体知识库和使用指令调整，通过参数的小分区训练的 VANER 明显优于之前基于大型语言模型的模型，并且作为基于大型语言模型的模型，首次超过传统的 BioNER 系统大多数最先进的模型，实现了三个数据集中最高的 F1 分数。

    Apr, 2024

  • 大语言模型推进意大利生物医学信息提取：方法论洞见与多中心实际应用

    该研究创建了第一个意大利神经心理学命名实体识别数据集，PsyNIT，并使用它开发了用于此任务的大型语言模型。通过多中心模型实验，建立了方法论指导，未来还可为意大利医院提供重要的研究机会。

    Jun, 2023

  • 利用经过优化的大型语言模型从复杂的科技文本中提取结构化信息

    通过预先训练的语言模型 GPT-3，我们提出了一种简单的序列到序列方法来联合提取科学文本中的复杂层次信息的命名实体识别和关系抽取，并证明了这种方式能够准确提取复杂科学知识的有用记录。

    Dec, 2022

  • ContractNLI: 合同文件级别自然语言推理数据集

    本研究提出了一种新的自然语言推理应用 —— 针对合同的 “文档级自然语言推理”，解决了合同审查过于耗时和过于昂贵的问题，并标注并发布了目前最大的包括 607 个合同的语料库。研究还指出，以往的模型在该任务上表现不佳，而研究者引入了一种新的算法，并通过多标签分类和更复杂的上下文分割方法使该任务取得了显著进展，并认为这一领域还有很大的改进空间。

    Oct, 2021

  • LexGLUE: 英文法律语言理解基准数据集

    介绍 Legal General Language Understanding Evaluation（LexGLUE）基准测试和对几个通用和以法律为导向的模型的评估和分析，证明后者在多个任务中始终提供性能改进。

    Oct, 2021

  • 使用 BERT 实现通用语言命名实体识别

    本文研究了一种基于多语言 BERT 的单一命名实体识别模型，使用多任务学习和分块更新规则等正则化策略优化模型，并证明在多种语言数据集上表现优于专注于单一语言模型，并能够进行零样本预测。

    Nov, 2019

  • 基于特定领域 ALBERT 的生物医学自然语言处理任务基准测试

    通过适应生物医学领域 (PubMed、PubMed Central 和 MIMIC-III 数据集) 并微调了 20 个基准数据集上的 6 个任务，我们提出了 BioALBERT，并展示了它在大部分任务中优于现有技术。

    Jul, 2021