为了促进医学大语言模型的研究，我们将中文生物医学语言理解评估 (CBLUE) 基准重新构建为一个大规模的提示调整基准，PromptCBLUE，用于评估中文大语言模型在广泛的生物医学任务上的多任务能力，包括医学实体识别、医学文本分类、医学自然语言推理、医学对话理解和医学内容 / 对话生成。在这些任务上，我们已经进行了实验并报告了目前使用不同微调技术微调的 9 个中文大语言模型的结果。

Oct, 2023

该论文介绍了第一个大规模的中文语言理解评估基准，名为 CLUE，以帮助解决英语特定的自然语言理解模型难以用于其他语言的问题，并使用 9 个最先进的中文预训练模型来报告结果，并引入了一系列辅助数据集和工具以促进中文自然语言理解技术的进一步发展。

Apr, 2020

该研究论文介绍了 PromptCBLUE 共享任务，该任务重塑了 CBLUE 基准，并为中文开放领域或医学领域的大型语言模型（LLMs）提供了一个良好的测试平台，探索了 LLMs 的多任务提示优化和开源 LLMs 的上下文学习能力调查，并总结了各参与团队在不同方法上的技术和结果评估。

Dec, 2023

为了解决医学大语言模型的评估工作耗时且需要大量人力的问题，我们引入了 MedBench，这是一个综合性的基准测试，包括来自医学各领域的 40,041 个问题。通过对医学语言学习模型的知识掌握和推理能力进行评估，MedBench 建立了一个可靠的标准，揭示了医学大语言模型的能力和限制，以帮助医学研究社区。

Dec, 2023

本文介绍了 Biomedical Language Understanding Evaluation (BLUE) benchmark，该基准旨在促进预训练语言表示在生物医学领域的发展研究。我们评估了多个基于 BERT 和 ELMo 的基线，并发现在 PubMed 文摘和 MIMIC-III 临床笔记上预训练的 BERT 模型取得了最佳结果。

Jun, 2019

首次公开提供的法语生物医学语言理解基准 DrBenchmark，评估 8 种最新的预训练掩码语言模型 (MLMs) 的通用和生物医学特定数据上的性能，以及英语特定的 MLMs 来评估它们的跨语言能力。

Feb, 2024

本文介绍了 Clinical Language Understanding Evaluation (CLUE) 基准测试，它通过提供一组基于 MIMIC 数据的四个临床语言理解任务、标准的训练、开发、验证和测试集，以及一个软件工具包去解决临床语言处理面临的实验设置不一等问题，能够直接比较不同方法之间的性能差异，提高可重复性，并降低开发新模型或方法的门槛。

Sep, 2022

提出了一个基于中文和本土文化框架的本地化医学基准评估工具 CMB，用于评估各类大型语言模型，包括中文和医学领域的模型，旨在促进在中国医学领域中普及和改进大型语言模型。

Aug, 2023

本文研究如何将预训练语言模型 BERT 改进适用于中文生物医学文本，并提出了一种新的概念化表示学习方法。我们还发布了一个新的中文生物医学语言理解评估基准（ extbf {ChineseBLUE}），实验结果表明我们的方法可以获得显著的收益。

Aug, 2020

该论文描述了一个开放的俄罗斯医学语言理解基准，包括分类、问答、自然语言推理、命名实体识别等多种任务类型，以及新的文本集合，提供统一格式标注、数据分割和评估指标，还实现了多个基准模型，从简单模型到具有变形金刚架构的神经网络模型，预计高级模型表现更好，但即使是简单模型在某些任务上也可以得到不错的结果。

Jan, 2022