Dec, 2022

基于极端多标签长文本变换器的自动ICD编码模型

HTML
PDF
TL;DR本研究探讨基于Transformer的模型用于自动化ICD编码任务，研究基于MIMIC-III数据集的三种Transformer模型表现，并对一个优化过的PLM-ICD模型和一个新的XR-LAT模型进行了评估，证明优化过的PLM-ICD模型是新的SOTA模型，而XR-LAT模型能与之竞争。
发现论文，激发创造
  • 基于BERT的自动ICD编码：限制与机遇

    本研究使用PubMedBERT，探究了自动ICD编码任务的性能。研究表明，目前的BERT模型在处理长文本时存在困难，提出更好的信息汇聚方法是改进ICD编码的主要需要。

    Apr, 2021

  • 用于可解释ICD编码的层级标签关注Transformer模型

    本文提出了一种基于层次化标签关注Transformer模型（HiLAT）的方法，用于从医疗文件中解释预测ICD代码。研究结果表明HiLAT与ClinicalplusXLNet相比在MIMIC-III中的前五十个ICD-9代码的F1得分更高，且关注权重的可视化表现出潜在的解释性工具。

    Apr, 2022

  • 使用预训练语言模型进行自动ICD编码

    本文旨在分析预训练语言模型在自动ICD编码任务上表现不佳的原因，并提出了PLMICD框架来克服该问题，实验证明该框架在ICD编码任务上能够取得最先进的性能。

    Jul, 2022

  • 知识注入的提示式微调，用于多标签少样本ICD编码

    本研究通过适应具有标签语义的提示微调技术以及注入三种特定于医学领域的知识（层次结构、同义词和缩写）的预训练来解决自动ICD编码中的长尾挑战，并在MIMIC-III-full数据集上取得了14.5％的性能提升，并且在MIMIC-III-rare50数据集的微调情况下提高了宏F1和微F1。

    Oct, 2022

  • 基于Prompt的多标记少样本ICD编码自回归生成

    本研究旨在解决将多标签分类任务转变为自回归生成任务的长尾挑战，通过引入新颖的生成自由文本的预训练目标，生成低维度的文本描述，从而推断出ICD代码，实验结果表明我们所提出的模型实现了新的SOTA表现，并设计了一种新的交叉关注再排序器来集成先前的SOTA和我们最佳的少样本编码预测。

    Nov, 2022

  • Mimic-IV-ICD：一个新的极端多标签分类基准

    本文提出了一个基于MIMIC-IV公共电子病历数据集的ICD编码公共基准套件，使数据预处理标准化并建立全面的ICD编码基准数据集，加速未来研究中采用自动ICD编码的进展。

    Apr, 2023

  • 一种用于高效ICD编码的两阶段解码器

    本文提出了一个两阶段解码机制来预测国际疾病分类（ICD）码，该模型利用了代码的分层属性，在公共MIMIC-III数据集上表现良好。

    May, 2023

  • MHLAT：用于自动ICD编码的多跳标签注意模型

    提出了一种称为多跳标签注意力（MHLAT）的简单但有效的模型，通过多跳标签注意力机制获取更精确和丰富的表示，以解决ICD编码中的标签分类问题及预训练语言模型的巨大内存使用问题。在三个基准MIMIC数据集上进行的广泛实验表明，该方法在所有七个指标上达到了显著更好或可比性能，且参数较少。

    Sep, 2023

  • 利用现成大型语言模型进行自动临床编码

    利用大型预训练生成语言模型开发出零样本和少样本编码分配的实用解决方案，通过信息提取，利用ICD本体论和专业临床编码任务描述，检索相关提及，并利用GPT-4在第二阶段进行元细化，实现了自动ICD编码的方法，无需任务特定的学习，而在更稀缺的类别上达到了最优的性能。

    Oct, 2023

  • 通过关注多种标签嵌入进行准确和良好校准的ICD编码分配

    该论文描述了一种新颖的自动ICD编码方法，结合了先前相关工作的几个思想。我们特别采用一种强大的基于Transformer的文本编码模型，并针对冗长的临床叙述，探索了将基本编码模型调整为Longformer，或者将文本分成块并独立处理的方法。编码器产生的表示与标签嵌入机制相结合，探索了多样的ICD编码同义词。通过使用MIMIC-III数据集的不同拆分进行实验，结果显示提出的方法在ICD编码方面优于当前最先进的模型，并且标签嵌入显著促成了良好的性能。该方法还导致适当校准的分类结果，可以有效地用于下游任务如数量化。

    Feb, 2024