Nov, 2022

利用大型预训练语言模型协助 FDA 进行医疗器械上市前审批

PDF
TL;DR本文提出一种可能用于协助 FDA 医疗器械营销过程的自然语言处理方法，使用先训练的快速文本嵌入和大型先训练的句子嵌入模型来评估设备描述的准确性，并探讨这些模型是否能识别错误分类的设备。结果表明，T5 和 MPNet 与 GPT-3 语义搜索嵌入的句子转换器在识别正确分类方面具有高准确性。
natural language processingfda medical device marketingpre-trained word embeddingspre-trained sentence embedding modelssemantic search embedding
发现论文，激发创造
  • 基于 BERT 的药物信息 ADME 语义标注自动化微调，提升 FDA 药品标签的产品特定指导评估

    本文利用预训练语言模型通过 Fine-tuning, 自动实现药物 ADME 段落在药代动力学部分的标签，解决 FDA 标签中对 Product-specific guidances (PSGs) 的要求，其结果表明，预训练的 BERT 模型在 ADME 语义标签任务中可以优于传统机器学习技术，完成了首次成功地将 BERT 应用于解决 ADME 语义标签任务的尝试。

    Jul, 2022

  • 从生物医学文献中进行意图识别和实体提取

    通过全面的实证评估，我们表明在生物医学文本中，受监督的微调方法仍然相关且比通用性的大型语言模型更有效，如 PubMedBERT 可以仅凭 5 个受监督示例就能在命名实体识别任务上超过 ChatGPT。

    Apr, 2024

  • 基于深度学习的医学文本情感分析

    本研究使用双向编码器表示来自转换器（BERT）的基本预训练模型，并在输出层使用卷积神经网络（CNN）、全连接网络（FCN）和图卷积网络（GCN）等模块进行实验和分析。结果表明，在与 BERT 等预训练模型结合使用较小的医学文本数据集进行训练时，CNN 模型优于其他网络。该研究强调了在医学领域实现有效情感分析中模型选择的重要性，并为未来研究开发更高效的模型架构提供了参考。

    Apr, 2024

  • 使用语言模型预训练的医疗命名实体识别模型

    本文介绍了一种从非结构化电子医疗记录中提取结构化信息的方法，该方法通过自然语言处理技术和网络注释工具的组合应用，优化了使用少量训练数据训练的定制命名实体识别模型的性能，并展示了该技术与现有方法相比的优势。研究结果表明，在仅使用 50% 的训练数据的情况下，我们的方法训练的模型的 F1 得分可达到 0.734，而当前流行的方法训练的不带语言模型组件的 spaCy 模型的 F1 得分为 0.704。

    Oct, 2019

  • 抓住我就行：使用生成式预训练变压器的大型语言模型识别虚假医生评论

    研究人工智能技术在区分真假医生评论方面的应用，发现 GPT-3 在分类医生评论方面优于传统机器学习方法，并且 GPT-3 表现不受样本量影响。通过对真假评论的对比，研究发现虚假评论比真实评论更具临床内容、情感保守，并且语法结构更完整。

    Apr, 2023

  • 临床文本的神经机器翻译：多语前训练语言模型和迁移学习的实证研究

    通过研究多语言神经网络模型，使用深度学习，如基于 Transformer 的结构，我们在临床文本机器翻译方面进行了调查。此外，为了解决语言资源不平衡问题，我们还使用基于大规模多语言预训练语言模型（MMPLMs）的迁移学习方法进行了实验。在临床案例（CC）、临床术语（CT）和本体概念（OC）等三个子任务上的实验结果表明，我们的模型在 ClinSpEn-2022 共享任务中的英语 - 西班牙语临床领域数据中表现出了最佳水平。此外，基于专家评估的人工评估结果显示，小型预训练语言模型（PLM）在临床领域微调中以大幅度优于其他两个超大型语言模型，这是该领域前所未有的发现。最后，迁移学习方法在我们的实验设置中运行良好，使用 WMT21fb 模型适应了预训练阶段在 WMT21fb 中未见的西班牙语语言空间，这值得进一步探索临床知识转化方面，例如研究更多语言。这些研究结果可以为特定领域的机器翻译开发提供一些启示，尤其是在临床和医疗领域。在我们的工作基础上可以开展进一步的研究项目，以改进医疗文本分析和知识转化。

    Dec, 2023

  • 基于 Transformer 深度学习架构的上下文化药物信息提取

    研究开发了自然语言处理（NLP）系统，用于从临床叙述中提取上下文药物信息，证明大型转换模型的优势。

    Mar, 2023

  • UMLS-KGI-BERT: 基于数据中心的转换器中的生物医学实体识别知识集成

    通过从 UMLS 中提取文本序列，该工作为丰富生物医学变压器编码器的语言表示做出了数据为中心的范例贡献，从而将基于图的学习目标与掩码语言预训练相结合，初步实验结果表明该框架提高了多个生物医学和临床命名实体识别任务的下游性能。

    Jul, 2023

  • 采用预训练语言模型提高临床自然语言推理表现 —— 基于 MEDIQA 2019 的研究

    本文介绍了一种使用预训练语言模型和迁移学习的基于词 / 子词级别的模型，用于分析医学领域的文本，并在自然语言推理任务中取得了 90.6% 的准确率，为医学领域的模型构建提供了一些有用的信息。

    Jun, 2019

  • 针对临床和生物医学文本理解的德语语言模型的综合研究

    本文探讨了如何通过在特定领域数据上进行连续预训练，来适应领域特定需求，以提高医学自然语言处理任务的性能。实验证明，通过在临床数据或翻译文本上进行预训练已被证明是在医学领域适应性优化的可靠方法。

    Apr, 2024