Apr, 2024

BMRetriever: 优化大型语言模型作为更好的生物医学文本检索器

HTML
PDF
TL;DRBMRetriever是一系列密集的检索器，通过在大型生物医学语料库上进行无监督预训练，然后在标记数据集和合成对上进行指导微调，提升生物医学检索的效果。在11个数据集上的5个生物医学任务实验证实了BMRetriever在各种生物医学应用上的有效性。BMRetriever还表现出强大的参数效率，410M版本的性能超过了大约11.7倍更大的基准模型，2B版本则与超过5B参数的模型的性能相匹配。培训数据和模型检查点发布在https://huggingface.co/BMRetriever以确保透明度、可重复性和在新领域中的应用。
发现论文，激发创造
  • BioBERT：用于生物医学文本挖掘的预训练生物医学语言表示模型

    本文介绍了如何将自然语言处理(NLP)中最新的预训练语言模型BERT应用于生物医学文献的文本挖掘，并提出了一种自然语言处理(BioBERT)模型用于生物医学文本挖掘，该模型在以前的生物医学文本挖掘任务中表现得比BERT好并且公开了该模型的预训练权重以及源代码。

    Jan, 2019

  • 从语言模型中探测生物医学嵌入

    本文研究使用预训练的语言模型作为固定的特征提取器，并限制下游任务模型没有额外的序列建模层，探索在域内训练后的上下文词嵌入中携带的附加信息。结果发现，BioELMo在编码实体类型和关系信息方面优于BioBERT。

    Apr, 2019

  • BioMegatron: 更大的生物医学领域语言模型

    本研究通过实证研究多个因素，如子单词词汇集、模型大小、预训练语料库和领域转移等，对领域语言应用的表现进行评估，结果表明使用更大的BioMegatron模型训练的表现更好，对于生物医学命名实体识别、关系抽取和问答等方面也有显著提高。

    Oct, 2020

  • 基于特定领域ALBERT的生物医学自然语言处理任务基准测试

    通过适应生物医学领域(PubMed、PubMed Central和MIMIC-III数据集)并微调了20个基准数据集上的6个任务，我们提出了BioALBERT，并展示了它在大部分任务中优于现有技术。

    Jul, 2021

  • 基于基准生物医学文本处理任务的大规模语言模型全面评估

    最近，大型语言模型 (LLM) 在解决各种任务方面展现了令人印象深刻的能力。然而，尽管在各种任务中取得了成功，但以前的研究尚未调查它们在生物医学领域的能力。为此，本文旨在评估LLMs在基准生物医学任务中的性能。为此，我们对26个数据集中6个不同生物医学任务的4种流行LLMs进行了全面评估。据我们所知，这是第一次在生物医学领域对各种LLMs进行广泛评估和比较。有趣的是，基于我们的评估结果我们发现，在具有较小训练集的生物医学数据集中，零次矫正的LLMs甚至在效果上超过了当前最先进的生物医学模型。这表明，在大型文本语料库上进行预训练使LLMs在生物医学领域具有了相当专业的能力。我们还发现，在所有任务中没有单个LLM能够胜过其他LLMs，不同LLMs的性能可能会因任务而异。尽管与在大型训练集上进行精细调整的生物医学模型相比，它们的性能仍然相当差，但我们的研究结果表明，LLMs在缺乏大规模注释数据的各种生物医学任务中具有潜在的价值工具。

    Oct, 2023

  • BiomedRAG：一种用于生物医学领域的检索增强大型语言模型

    利用检索增强的生成模型在生物医学领域中实现大型语言模型的知识更新和性能提升，并证明了BiomedRAG在5个生物医学自然语言处理任务中的卓越表现。

    May, 2024

  • 在生物医学NLP中对检索增强的大型语言模型进行基准测试：应用、稳健性和自我意识

    本文通过系统调查研究，评估了检索增强型大型语言模型在5个不同的生物医学任务（三元组抽取、链接预测、分类、问题回答和自然语言推理）中的影响，并在医学领域建立了四个不同的测试组，测试了三个代表性的大型语言模型与三个不同的检索器在9个数据集上的性能。

    May, 2024

  • BioMamba：一种利用Mamba的预训练生物医学语言表示模型

    本研究解决了生物医学文献中复杂语言解读的难题。提出的BioMamba模型专为生物医学文本挖掘设计，通过在广泛的生物医学文献上进行预训练，显著超越了现有模型如BioBERT。实验结果表明，BioMamba在BioASQ测试集上实现了100倍的困惑度降低和4倍的交叉熵损失降低。

    Aug, 2024

  • 生物医学大语言模型似乎不如通用模型在未见医疗数据上的表现

    本研究探讨了生物医学领域特定微调的大语言模型在面对不同临床任务时的有效性，发现其大多数情况下表现不及通用模型。特别是在缺乏医学知识的任务中，小型生物医学模型表现尤为逊色。这一发现挑战了当前关于领域特定微调的假设，并强调了在医疗人工智能中需要更严格的评估框架。

    Aug, 2024

  • 生物医学中大型语言模型的调查

    本研究针对现有生物医学领域大型语言模型(LLMs)文献缺乏综合分析的现状，进行了深入探讨。文章分析了484篇相关文献，探讨了LLMs在诊断辅助、药物发现和个性化医疗等任务中的能力，并指出在特定应用中提高模型表现的调适策略。此外，研究还揭示了数据隐私、模型可解释性等挑战，并提出未来的研究方向。

    Aug, 2024