AAAIOct, 2019

利用人工数据构建用于低资源生物医学文本标注微调的模型，并在 PICO 注释中应用

PDF
TL;DR本研究提出了一种方法解决生物医学标记系统中标记实例匮乏的问题，该方法使用预训练编码器为任务提供文本表示，并通过使用标签文本作为输入来制造多个人工标记实例。实验结果表明，这种方法在 PICO 注释任务上实现了最新的最佳性能。
biomedical text taggingpre-trained encoderlabeled instancesartificial labeled instancespico annotation
发现论文，激发创造
  • 为生物医学自然语言处理调整大型神经语言模型

    本文系统研究了微生物 NLP 中 fine-tuning 的稳定性，提出了一系列技术来解决这个问题，并通过领域特定词汇和预训练来建立更健壮的模型。

    Dec, 2021

  • 在资源匮乏环境中通过大型语言模型的微调进行文本数据增强

    通过细调教师大型语言模型产生和注释的数据，可以改善较小模型的下游性能，有时只需要原始训练数据的一小部分。

    Oct, 2023

  • 一个包含多层病人、干预和结果注释的语料库，以支持医学文献语言处理

    该研究提供了一份 5000 份医学文章摘要的标注语料库，其中的标注包括描述人口、干预方法及比较、以及测量结果等关键信息，旨在协助检索医学文献并支持循证医学实践。

    Jun, 2018

  • 在医学文本中提取 PICO 时不借助 Span 注解的 Span 检测方法

    本文提出并测试了一种新的 PICO 区间检测方法，该方法不需要标注的区间数据，仅使用众包句子级注释来实现。该方法有助于将低质量众包和句子级 PICO 注释转化为可用于快速分配临床试验的结构化信息，并提高临床试验的回收率，减少了系统性回顾的时间。

    Sep, 2021

  • 利用上下文嵌入增强医学文本中 PIO 元素的检测

    本研究探究了一种新的人口、干预和结果（PIO）元素检测方法，特别关注证据医学（EBM）中的这一任务。本研究目的是建立一个训练数据集，以便最大限度地减少冗余和歧义，并探讨利用最先进的嵌入方法进行 PIO 元素检测的可能选项。我们利用最先进的文本嵌入 BERT 建立了一个多标签分类器，这进一步优化了分类器的性能，同时表明模型可以通过使用集成方法和提升技术来提高。

    Jun, 2019

  • 在低资源限制下使用瓶颈适配器识别临床笔记中的癌症

    本文研究如何处理临床健康记录中的信息，通过广泛的机器学习技术，特别是瓶颈适配和提示调整，基于数据集中的临床笔记和注释，表明用瓶颈适配器微调自然语言预训练 BERT 模型胜于其他模型。作者建议在生物医学文本挖掘过程中，在资源有限或访问受限的低资源情况下使用瓶颈适配器作为一种可行的方法。

    Oct, 2022

  • 医学术语嵌入的分层预训练

    这篇论文介绍了利用自然语言处理和表示学习生成医学术语的嵌入，以更好的预测临床决策和患者轨迹，提出了一个新的医学术语表示模型 HiPrBERT，并使用层次结构数据来训练和提高嵌入效果。

    Jul, 2023

  • 学习细粒度术语表示的自动生物医学术语聚类

    CODER++ 使用动态难样本在对比学习中提供细粒度的表示，从而在生物医学术语聚类方面取得更好的效果，应用于 BIOS 的生物医学概念聚类中。

    Apr, 2022

  • 通过增强自然语言处理数据来应对自然语言推断任务中的注释人为错误

    本研究旨在研究 Annotation Artifacts 在大型预先训练的 NLP 模型中的表现，分析其在自然语言推断任务中的限制、通过数据增强技术解决注释工件所引起的偏差，以及评估该方法的有效性。

    Feb, 2023

  • 超级提示：利用模型无关的语境数据减少视觉常识任务中的数据注释需求

    本文研究如何使用 Prompt-based Fine-tuning 技术提高语言模型和多模式因果变换器模型的效果，结果表明使用只有 35%-40% 的训练数据集便能取得可比较的效果，从而达到显著的时间和费用节约。

    Apr, 2022