Jul, 2022

OSLAT: 医学实体检索和跨度提取的开放集标签注意力变换器

PDF
TL;DR本文提出了一种基于 label-attention 机制的方法 (OSLAT) 来链接不需要跨度注释的开放实体集，可以用于实体抽取和链接等自然语言处理任务
medical entity span extractionnlpentity extractionentity linkinglabel-attention mechanism
发现论文，激发创造
  • 自动提取医疗对话中的信息：专家系统和注意力标注

    本文提出了一种基于专家系统和注意力的模型（ESAL），使用混合专家和预训练 BERT 来识别不同类别的医学对话中的语义，能够融合它们之间的差异，并将其应用于公共数据集的实验结果表明，ESAL 显著改善了医学信息分类的性能。

    Nov, 2022

  • 基于 Span 和实体注意力机制的实体和重叠关系抽取技术

    通过使用标准跨度机制和标记跨度机制、构建实体注意力机制，本研究提出了一种完全解决三元组重叠问题的信息抽取方法，并在两个公共数据集上进行了测试。该方法在这两个数据集上达到最佳性能。

    Apr, 2023

  • 基于双向 LSTM 网络和注意力机制的语义关系分类与潜在实体类型识别

    本文提出了一种新颖的端到端循环神经模型，结合了实体感知的注意力机制和潜在实体类型（LET）方法，以解决语义关系分类任务中现有模型对高级语义和句法特征的过度依赖和未充分利用实体信息等问题。在 SemEval-2010 任务 8 上的实验结果表明，该模型在无需高级特征的情况下胜过现有最先进的模型。

    Jan, 2019

  • 面向中文临床文本的医疗信息标注和提取统一框架

    该研究提供了一个医学信息提取的工程框架，其中包括医疗实体识别、关系提取和属性提取。通过深度学习技术和注释语料库，该系统可以高准确率地提取医学实体、关系和属性。

    Mar, 2022

  • 关注实体以获得更好的文本理解

    在自然语言处理中，通过将共指信息作为辅助监督注入到目前现有的预训练模型中，能够提升模型在需要进行复杂和长距离推理的任务中的表现，从而超过目前最大的 GPT-2 模型，同时仅含有一小部分的参数。

    Nov, 2019

  • Attention Link: 一种高效的基于注意力机制的低资源机器翻译架构

    本文提出了一种新的架构，即注意力链接（AL），以在低训练资源情况下改善 transformer 模型表现，并在多个翻译任务中进行了实验，结果表明该注意力链接可以显著改善 BLEU 得分，实现了 37.9 的 BLEU 分数，且在 IWSLT14 de-en 任务中达到了新的 sota。

    Feb, 2023

  • 稀疏注意力神经网络联合训练的序列标记和分类

    提出一种利用 LSTM 网络同时学习句子级别分类任务和序列标注任务的模型，通过语义相关性对单词进行加权的稀疏注意力机制，该方法在 ATIS 和 TREC 数据集上表现优于基准模型。

    Sep, 2017

  • 基于 Transformer 预训练的跨度联合实体和关系抽取

    本文介绍了一种轻量级的基于注意力机制的模型 SpERT，通过对 BERT 嵌入进行实体识别和过滤，以及基于标记的上下文表示进行关系分类，结合单 BERT 传递的高效负样例抽取方法，在多个数据集上取得了高于先前工作最高达 2.6% F1-score 的性能表现。

    Sep, 2019

  • ESA：具有注意力机制的实体摘要

    本文提出了一种名为 ESA 的基于神经网络的实体概述方法，通过监督式注意力机制和 F-measure 评价，成功地应用于知识图谱上。

    May, 2019

  • SATr: 利用 Transformer 进行切片关注的通用断层扫描病变检测

    该论文提出一种新的 Slice Attention Transformer（SATr）块，将其整合到卷积的 ULD 骨干中，形成混合网络结构，以更好地建模长距离特征依赖关系，同时仍保持使用原始骨干中的卷积操作建模局部特征的强大能力，实验表明该 SATr 块可以在不增加超参数或特殊网络设计的情况下提供准确的病变检测。

    Mar, 2022