Apr, 2022

LitMC-BERT：基于 Transformer 的生物医学文献多标签分类及其在 COVID-19 文献管理中的应用

PDF
TL;DR该研究提出了一个基于转换器的多标签分类方法，名称为 LITMC-BERT，用于处理生物医学文献中的 LitCovid。与三种基线模型相比，LITMC-BERT 的 micro-F1 和基于样例的 F1 分别比当前最佳结果高 5％和 4％，且只需要 Binary BERT 基线的约 18％的推理时间。
发现论文，激发创造
  • 生物医学文献的多标签分类: BioCreative VII LitCovid 赛道 COVID-19 文献主题注释概述

    该研究报告主要讨论了如何利用生物医学文本挖掘方法自动分配主题标签以便更好地理解和利用 LitCovid 数据库中的 COVID-19 相关文章，以促进疫苗和药物的研发。

    Apr, 2022

  • COVID-19 文献的分类

    本研究分析了多个多标签文档分类模型在 LitCovid 数据集上的表现，发现在该数据集上微调过的预训练语言模型表现最佳，并探讨了其数据效率和可推广性，同时也提出了未来研究中需要解决的问题，数据和代码均在 GitHub 上可获取。

    Jun, 2020

  • 使用 Bioformer 进行 COVID-19 文献的多标记主题分类

    本文介绍 Bioformer 团队在 BioCreative VII 的 track 5 中多标签主题分类任务中所采用的不同 BERT 模型 (BioBERT、PubMedBERT 和 Bioformer) 对 COVID-19 文献主题分类的表现。结果表明 Bioformer 在此任务中的表现优于 BioBERT 和 PubMedBERT，并使用 COVID-19 文章的预训练进一步提高了性能。

    Apr, 2022

  • Continual BERT: COVID-19 文献自适应抽取式摘要的持续学习

    为了帮助科学界更好地理解与 COVID-19 相关的文献，我们提出了一种新颖的 BERT 架构，该架构能够提供长度较长的论文的简洁而原创的摘要，并通过在线学习最小化灾难性遗忘以适应社群需求。基准测试和手动检查显示，该模型可以提供新的科学文献的良好概要。

    Jul, 2020

  • COVID-Twitter-BERT：一个用于分析 Twitter 上 COVID-19 内容的自然语言处理模型

    该论文介绍了基于 transformer 的 COVID-Twitter-BERT 模型，通过对大量 Twitter 上有关 COVID-19 的消息进行预训练，该模型在五个不同的分类数据集上相较于 BERT-Large 基础模型提高了 10-30％，特别是在 COVID-19 内容（尤其是来自 Twitter 的社交媒体帖子）的分类中表现更突出，从而实现了优化。该模型可以用于文本分类、问答和聊天机器人等自然语言处理任务。

    May, 2020

  • 生物医学文献中实验方法的自动文本挖掘

    生物医学文献是一个迅速扩展的科学技术领域，本研究提出了 Fine-tuned DistilBERT 方法，这是一种专门针对生物医学文本的预训练生成分类语言模型，通过 40% 减小 BERT 模型尺寸和 60% 的速度提升，证明其在语言理解能力上的有效性。本论文的主要目标是改进模型并评估其性能，以与非 Fine-tuned 模型进行对比。我们使用 DistilBERT 作为支持模型，在包括 32,000 篇摘要和完整文本文章的语料库上进行了预训练，其结果令人印象深刻，超过了使用 RNN 或 LSTM 的传统文献分类方法。我们的目标是将这个高度专业和特定的模型整合到不同的研究行业中。

    Apr, 2024

  • 使用 BERT 和 GPT-2 进行 COVID-19 医疗研究文章的自动文本摘要

    我们利用预先训练的 NLP 模型 BERT 和 OpenAI GPT-2，通过对 COVID-19 开放研究数据集中的文本进行摘要来解决研究人员与快速增长出版物之间的差距，我们的模型提供了基于原始文章提取的关键词的抽象和综合信息，我们的工作可以帮助医学界通过提供简要摘要来处理那些摘要尚不可用的文章。

    Jun, 2020

  • 基于 BERT 模型的 COVID-19 相关推文的虚假新闻检测和情感分析

    我们的团队 “techno” 参加了 CERIST'22 共享任务，利用自然语言处理工具和 BERT 预训练语言模型，对与 COVID-19 疫情有关的 4128 个推文进行了情感分析和 8661 个推文进行了虚假新闻检测任务，并获得了情感分析任务 0.93 的准确度和虚假新闻检测任务 0.90 的准确度。

    Apr, 2023

  • BioBERT：用于生物医学文本挖掘的预训练生物医学语言表示模型

    本文介绍了如何将自然语言处理 (NLP) 中最新的预训练语言模型 BERT 应用于生物医学文献的文本挖掘，并提出了一种自然语言处理 (BioBERT) 模型用于生物医学文本挖掘，该模型在以前的生物医学文本挖掘任务中表现得比 BERT 好并且公开了该模型的预训练权重以及源代码。

    Jan, 2019

  • 利用基于 BERT 的模型推动跨学科研究：通过 SciBERT-CNN 与主题建模的方法

    该论文介绍了一种使用 SciBERT 模型和 CNN 的新方法，通过处理摘要、正文、标题和关键词等多个部分，以解决多标签文本分类中的语义关系和类别不平衡问题，并在文献综述效率方面取得显著改进。

    Apr, 2024