May, 2021

SciFive：一个用于生物医学文献的文本到文本转换器模型

PDF
TL;DRSciFive 是一种预先训练于大型生物医学语料库的领域特定的 T5 模型，它优于当前 SOTA 方法（即 BERT，BioBERT 和 Base T5）在命名实体关系、关系提取、自然语言推理和问答任务上，特别是在需要更长、更复杂输出的生物医学自然语言处理任务方面，我们的结果支持探索更具挑战性的文本生成任务和该领域新方法的开发。
scifivet5 modelbiomedical nlp taskstext-generation methodspre-training
发现论文，激发创造
  • SciBERT : 一个针对科技文本的预训练语言模型

    SciBERT 是一种无监督预训练的基于 BERT 的语言模型，用于解决获取高质量、大规模标注科学数据的难题，并在多个科学领域的数据集上展示出比传统 BERT 模型更卓越的性能。

    Mar, 2019

  • SsciBERT：用于社会科学文本的预训练语言模型

    本研究旨在通过基于 Social Science Citation Index (SSCI) 期刊发表的摘要的预训练模型来提高自然语言处理任务的性能，目前该模型已在 GitHub 上发布，并在学科分类、摘要结构 - 功能识别和命名实体识别任务中展现出了优秀的性能。

    Jun, 2022

  • 使用 VERT5ERINI 进行科学声明验证

    本文提出了 VERT5ERINI，它利用 T5 进行抽象检索、句子选择和标签预测，以验证生物医学领域中的科学主张，并在 SCIFACT 数据集上进行了评估，在每个步骤中均优于强基线，并展示了 VERT5ERINI 对 COVID-19 主张的两个新数据集的推广能力。

    Oct, 2020

  • 生物医学关系抽取方法和模型比较及其在知识图谱构建中的应用

    本研究介绍比较了在构建知识图谱中用于从生物医学文献中提取关系方面的一些基于规则和基于机器学习的方法，例如：朴素贝叶斯、随机森林、DistilBERT、PubMedBERT、T5、SciFive 等，通过实验检测不同方法的适用性和鲁棒性。结果表明，基于 transformers 的模型（如 PubMedBERT）在处理小型和不平衡的数据时表现较好。其中，在平衡数据上，PubMedBERT 模型的 F1 得分最高（0.92）。

    Jan, 2022

  • 数据到文本任务的文本到文本预训练

    本研究探讨了数据生成文本任务中的预训练和微调策略，实验表明，以 T5 为代表的文本预训练方法使得简单的端到端 Transformer 模型在数据生成文本方面的性能优于传统的神经网络体系结构以及其他预训练技术，如 BERT 和 GPT-2。T5 预训练技术在域外测试集上表现出更好的泛化能力，此研究希望成为未来研究的有益基础，随着转移学习在数据生成文本任务中的广泛应用。

    May, 2020

  • mT5: 一种大规模多语言预训练文本到文本的转换器

    本文介绍了 mT5，这是 T5 的多语言变体，基于新的基于 Common Crawl 的数据集进行预训练，涵盖 101 种语言，并展示了在许多多语言基准测试中的最新性能。我们还描述了一种简单的技术，用于在零 - shot 设置中防止 “意外翻译”。

    Oct, 2020

  • 科技写作支持的语言模型微调

    本文提出了一种基于回归模型的科技句子识别方法，研究了科技公式和引文对于科技性评分的影响，构建了一种 AI 和机器学习标准文章版面的映射，提出了一种改进写作风格的软件，并训练了各种大型语言模型。

    Jun, 2023

  • 医学 mT5：一个开源的医学领域的多语言文本到文本 LLM

    目前，医疗应用的语言技术研究是自然语言理解和生成中的一个热门话题。本文通过编制迄今为止在医疗领域最大的四种语言（英语、法语、意大利语和西班牙语）的多语言语料库，训练出医学领域首个开源的多语言文本对文本模型 Medical mT5，并提出两个新的评估基准，以促进该领域的多语言研究。全面评估结果显示，Medical mT5 在西班牙语、法语和意大利语基准中优于编码器和同等规模的文本对文本模型，与当前最先进的英语大型语言模型具有竞争力。

    Apr, 2024

  • MatSciBERT：用于文本挖掘和信息提取的材料领域语言模型

    本文介绍了在材料科学文献数据的基础上训练的一种面向材料科学领域的语言模型 MatSciBERT，并对其在抽象分类、命名实体识别和关系提取等领域的性能进行了评价。结果表明 MatSciBERT 在这些任务中具有优异的表现，可用于提取材料领域的信息以推动材料的发现或优化。同时我们提供 MatSciBERT 的预训练和微调权重，以及模型的免费访问权。

    Sep, 2021

  • 从生物医学文献中进行意图识别和实体提取

    通过全面的实证评估，我们表明在生物医学文本中，受监督的微调方法仍然相关且比通用性的大型语言模型更有效，如 PubMedBERT 可以仅凭 5 个受监督示例就能在命名实体识别任务上超过 ChatGPT。

    Apr, 2024