Jun, 2022

BigBIO: 用于数据中心的生物医学自然语言处理框架

PDF
TL;DR我们介绍了 BigBIO 项目，这是一个包含 126 个以上生物医学 NLP 数据集的社区库，可用于训练和评估语言模型，其数据集的元数据和编程访问支持元数据集合的构建，并且支持 End-to-End 的零样本任务。
language modelsmeta-datasetsbiomedical nlp datasetsmeta-dataset curationzero-shot evaluation
发现论文，激发创造
  • SynthBio: 人工智能和人类协作构建文本数据集的案例研究

    本文提出一种利用大型语言模型实现高效数据集筛选的新方法， 用于构建结构化属性列表描述虚构人物的评估数据集 SynthBio，与 WikiBio 数据集相比更少噪声且更平衡。

    Nov, 2021

  • 基于通用语言模型的非英语医学自然语言处理注释数据集构建

    介绍了如何利用预训练语言模型提升非英语医学文本处理的 NLP 任务效率和数据集命中率，并且用我们的方法在德语文本上训练了一个医学 NER 模型 GPTNERMED。

    Aug, 2022

  • 地理和背景多样化数据源文献：BigScience 语言数据和资源目录

    本研究介绍了一个大型数据收集项目的方法论，强调了文档记录和以人为中心的方法，通过在线目录和公共黑客马拉松活动进行元数据的收集，以解决大型语言模型数据收集面临的难题，研究结果分析了所得到的资源元数据分布情况，并总结了在此项目中的经验教训。

    Jan, 2022

  • BigScience ROOTS Corpus：一个 1.6TB 的复合多语言数据集

    BigScience 团队创建了 Responsible Open-science Open-collaboration Text Sources (ROOTS) 语料库，这是一个包含 59 种语言和 1.6TB 数据的语料库，用于训练 1760 亿参数的 BigScience Large Open-science Open-access Multilingual (BLOOM) 语言模型，并释放了这一语料库的较大子集，希望为大规模单语和多语言建模项目提供数据和处理工具，并刺激关于这个大型多语言语料库的研究。

    Mar, 2023

  • 针对生物医学自然语言处理的领域特定语言模型预训练

    本文通过编制全面的生物医学 NLP 基准测试集，证明了在丰富的未标记文本的领域中，从头开始针对特定领域的预训练语言模型相对于持续预训练通用领域语言模型，能够显著提高生物医学 NLP 任务的效果，并发现一些常用做法不必要。我们为社区发布了我们的最新预训练和任务特定模型，并创建了一个包含我们的 BLURB 基准测试的排行榜。

    Jul, 2020

  • 数据集：自然语言处理社区的共享库

    该研究论文探讨了一个名为 Datasets 的 NLP 数据集库，旨在通过标准化终端用户接口、版本控制和文档，为 NLP 研究人员提供一个小型数据集至互联网规模文集均能使用的轻量级前端，并采用分布式、社区驱动的方法添加数据集和记录使用情况。经过一年的发展，在该库中已经包含超过 650 个独特的数据集，有 250 多名贡献者，并帮助支持了一系列新颖的交叉数据集研究项目和共享任务。

    Sep, 2021

  • 生物医学关键词生成的大规模数据集

    本文介绍了 kp-biomed 数据集，这是第一个从 PubMed 摘要中收集了超过 5M 篇文献的大规模生物医学关键词生成数据集，并训练发布了几个生成模型，并进行了一系列实验，表明使用大规模数据集显著提高了生成模型的性能。

    Nov, 2022

  • BioMegatron: 更大的生物医学领域语言模型

    本研究通过实证研究多个因素，如子单词词汇集、模型大小、预训练语料库和领域转移等，对领域语言应用的表现进行评估，结果表明使用更大的 BioMegatron 模型训练的表现更好，对于生物医学命名实体识别、关系抽取和问答等方面也有显著提高。

    Oct, 2020

  • 生物医学视觉语言处理的大规模领域特定预训练

    本文介绍了 BiomedCLIP 在生物医学视觉语言处理方面的应用，该方法针对生物医学 VLP 进行改进和优化，实验结果显示，BiomedCLIP 已成为标准数据集中广泛应用于检索、分类和视觉问答等任务的新的最佳模型，且在某些领域甚至胜过了目前的最新模型。

    Mar, 2023

  • SourceData-NLP 数据集：将数据整合到科学出版以训练大型语言模型

    该论文介绍了科学出版领域的扩张，探讨了自然语言处理（NLP）在从大量出版物和预印本中自动提取知识方面的潜力，以及通过注释生物实体以构建 SourceData-NLP 数据集对 NER 进行模型训练的可行性。

    Oct, 2023