Apr, 2022

RuBioRoBERTa：用于俄语生物医学文本挖掘的预训练生物医学语言模型

PDF
TL;DR本文介绍了基于 BERT 模型的俄语生物医学文本挖掘模型（RuBioBERT，RuBioRoBERTa）。这些模型在俄语医学领域的文本语料库上进行预训练，并在俄罗斯医学语言理解基准（RuMedBench）上展现了最新的成果，包括文本分类、问答、自然语言推断和命名实体识别。
bert-based modelsrussian languagebiomedical text miningpre-trainingstate-of-the-art results
发现论文，激发创造
  • BioBERT：用于生物医学文本挖掘的预训练生物医学语言表示模型

    本文介绍了如何将自然语言处理 (NLP) 中最新的预训练语言模型 BERT 应用于生物医学文献的文本挖掘，并提出了一种自然语言处理 (BioBERT) 模型用于生物医学文本挖掘，该模型在以前的生物医学文本挖掘任务中表现得比 BERT 好并且公开了该模型的预训练权重以及源代码。

    Jan, 2019

  • 俄语的预训练 Transformer 语言模型系列

    该论文介绍了一组 13 个基于编码器（ruBERT、ruRoBERTa、ruELECTRA）、解码器（ruGPT-3）和编码器 - 解码器（ruT5、FRED-T5）模型构建的俄语 Transformer 语言模型。通过预训练和发布这些专用的 Transformer 语言模型，希望扩大自然语言处理研究的范围，并为俄语语言的工业解决方案的开发提供支持。

    Sep, 2023

  • RoBERTuito：面向西班牙社交媒体文本的预训练语言模型

    该研究介绍了 RoBERTuito，这是一个用于西班牙语用户生成文本的预训练语言模型，通过在超过 5 亿条推文上训练，RoBERTuito 在涉及用户生成文本的基准任务中表现优异，并取得了与英语单语模型相竞争的成绩。

    Nov, 2021

  • RobBERT: 一种基于 RoBERTa 的荷兰语言模型

    本研究使用 RobBERT 作为荷兰语预训练模型，对各种任务的执行效果进行了测量，包括用于微调的数据集规模的重要性以及模型的公平性。研究发现，RobBERT 在各种任务上都可以提供良好的性能，并且在处理较小的数据集时明显优于其他模型，这表明它是适用于多种荷兰语任务的功能强大的预训练模型。

    Jan, 2020

  • RuMedBench: 俄语医学语言理解基准

    该论文描述了一个开放的俄罗斯医学语言理解基准，包括分类、问答、自然语言推理、命名实体识别等多种任务类型，以及新的文本集合，提供统一格式标注、数据分割和评估指标，还实现了多个基准模型，从简单模型到具有变形金刚架构的神经网络模型，预计高级模型表现更好，但即使是简单模型在某些任务上也可以得到不错的结果。

    Jan, 2022

  • 针对临床和生物医学文本理解的德语语言模型的综合研究

    本文探讨了如何通过在特定领域数据上进行连续预训练，来适应领域特定需求，以提高医学自然语言处理任务的性能。实验证明，通过在临床数据或翻译文本上进行预训练已被证明是在医学领域适应性优化的可靠方法。

    Apr, 2024

  • 生物医学问答预训练语言模型

    本文研究 BioBERT（一种预训练的生物医学语言模型）在回答生物医学问题方面的性能，结果表明使用适当的前 / 后处理策略可以获得最佳性能。

    Sep, 2019

  • RigoBERTa：一种用于西班牙语的最先进语言模型

    本文介绍了一种名为 RigoBERTa 的西班牙语最先进语言模型的设计和优势， 并与其他西班牙语模型进行了性能比较，结果表明 RigoBERTa 在 13 项 NLU 任务中表现优异，达到了新的 “State-of-the-Art” 结果。

    Apr, 2022

  • BioALBERT: 一种简单而有效的预训练语言模型，用于生物医学命名实体识别

    提出一种在大规模生物医学语料库上训练的具有生物医学上下文依赖命名实体识别能力的领域特定语言模型 —— 生物医学 ALBERT，并在 8 个不同的医学 NER 基准数据集上展现出极高的性能表现，该模型可供未来研究使用。

    Sep, 2020

  • EriBERTa：适用于临床自然语言处理的双语预训练语言模型

    本文介绍了 EriBERTa，一种在大量医疗和临床语料库上进行预训练的双语领域特定语言模型，并展示了其在医学文本理解和信息提取方面的优越能力，表现出有望实现知识从一种语言到另一种语言的转移。

    Jun, 2023