生物医学文献是一个迅速扩展的科学技术领域，本研究提出了 Fine-tuned DistilBERT 方法，这是一种专门针对生物医学文本的预训练生成分类语言模型，通过 40% 减小 BERT 模型尺寸和 60% 的速度提升，证明其在语言理解能力上的有效性。本论文的主要目标是改进模型并评估其性能，以与非 Fine-tuned 模型进行对比。我们使用 DistilBERT 作为支持模型，在包括 32,000 篇摘要和完整文本文章的语料库上进行了预训练，其结果令人印象深刻，超过了使用 RNN 或 LSTM 的传统文献分类方法。我们的目标是将这个高度专业和特定的模型整合到不同的研究行业中。

Apr, 2024

该研究提出了一个名为 MedQA 的问答任务，使用大规模文档集中的知识研究临床医学中的问题解答。提出了一种基于 LSTM 网络和双路径注意力架构的模块化端到端阅读理解模型 SeaReader，其具有从两个角度建模信息流和同时读取和整合多篇文档的能力。实验证明，SeaReader 在 MedQA 上比竞争模型实现了大幅提高，同时开发了一系列新技术以展示 SeaReader 问题解答过程的解释。

Feb, 2018

本文介绍了一个新的自动生成生物医学科学综述文献简化版的任务，并通过分析各种挑战，实验和评估，展示了使用现代神经架构自动生成的简化版摘要可以达到良好的质量和可读性。

Dec, 2020

本篇论文提出了一种新方法，通过大规模监督学习从而提供阅读理解的数据集，开发了一类基于注意力机制的深度神经网络，使其能够在没有先前语言结构知识的情况下阅读真实文档并回答复杂问题。

Jun, 2015

本研究调查了 36 种公开可用的工具，提供了有关医学文献搜索功能的全面视角，包括文献搜索、临床研究、基因相关信息、概念之间的关联等。

Jul, 2023

本文总结了机器阅读理解的最新进展，在语料库和技术两个方面进行了重点介绍和比较，详细描述了不同 MRC 语料库的特点以及一些典型 MRC 技术的主要思想。

Jun, 2019

通过全面的实证评估，我们表明在生物医学文本中，受监督的微调方法仍然相关且比通用性的大型语言模型更有效，如 PubMedBERT 可以仅凭 5 个受监督示例就能在命名实体识别任务上超过 ChatGPT。

Apr, 2024

本文对 2016 年到 2020 年间关于机器阅读理解方面的 241 篇论文进行了全面的调查，探讨了机器阅读理解的不同方面，包括方法、结构、输入 / 输出和研究的创新之处，并论述了研究的重点发生了变化，从答案提取到答案生成，从单一到多文档阅读理解，从零开始学习到使用预训练的嵌入。同时我们还讨论了这个领域中的流行数据集和评估指标，最后还研究了最常被引用的论文及其贡献。

Jan, 2020

本文系统总结了使用预训练语言模型（ Pre-trained language models）的生物医学文本摘要的最新进展、挑战问题和未来方向，帮助我们更好地理解该领域的最新进展和使用预训练语言模型在生物信息学中的应用。

Apr, 2023

本研究介绍比较了在构建知识图谱中用于从生物医学文献中提取关系方面的一些基于规则和基于机器学习的方法，例如：朴素贝叶斯、随机森林、DistilBERT、PubMedBERT、T5、SciFive 等，通过实验检测不同方法的适用性和鲁棒性。结果表明，基于 transformers 的模型（如 PubMedBERT）在处理小型和不平衡的数据时表现较好。其中，在平衡数据上，PubMedBERT 模型的 F1 得分最高（0.92）。

Jan, 2022