在合理低计算资源下开发和双语评估的日本医疗大语言模型
大型语言模型在医疗领域的利用引发了劲头和担忧，本文概述了目前开发的大型语言模型在医疗保健方面的能力，并阐明它们的发展过程，旨在提供从传统预训练语言模型（PLMs）到大型语言模型（LLMs）的发展路线图的概览。总的来说，我们认为正在进行一次重大的范式转变，从PLMs过渡到LLMs，这包括从辨别式人工智能方法向生成式人工智能方法的转变，以及从以模型为中心的方法论向以数据为中心的方法论的转变。
Oct, 2023
通过评估各种流行的大型语言模型对医学问题的知识，我们能够更好地了解它们作为一个群体的特性。从这次比较中，我们提供了初步的观察结果并提出了进一步研究的问题。
Oct, 2023
通过LoRA-based instruction-tuning来提高日本医学问答任务的性能，在多项选择题的评估中发现其可以部分地将领域特定知识整合到大型语言模型中，较大模型效果更显著，并突出了将英语为中心的模型适应于日本应用的潜力，同时也强调了日本为中心的模型的局限性，这一举措标志着在不依赖外部服务的情况下，医疗机构可以对模型进行精细调整和操作的先驱性努力。
Oct, 2023
该论文介绍了MedExpQA，一个基于医学考试的多语言基准，用于评估大型语言模型在医学问答中的表现，并指出目前大型语言模型的性能还有很大的改进空间，特别是对于英语以外的语言。同时，该研究还强调了获取和整合可用的医学知识对于医学问答的后续评估结果具有困难，并呼吁进一步开发其他语言的基准。
Apr, 2024
在这篇论文中，我们回顾了大型语言模型（LLMs）的发展，重点关注医学LLMs的需求和应用。我们提供了现有模型的简要概述，旨在探索进一步的研究方向并使其对未来医学应用产生益处。我们强调了医学LLMs在应用中的优势，以及其发展过程中遇到的挑战。最后，我们提出了技术整合的方向来减轻挑战，并为医学LLMs的未来研究方向提供了建议，旨在更好地满足医学领域的需求。
May, 2024
综述医疗大型自然语言模型（Med-LLM）的进化历史、技术、应用以及对医疗保健的影响，涵盖临床决策支持、报告生成、医学教育等方面，探索其潜力和限制，并讨论公平性、责任感、隐私保护和鲁棒性等挑战，展望未来的发展方向。
Jun, 2024
通过使用多个70B参数的大型语言模型以及日本医学问答数据集进行指导调整，我们首次展示了指导调整显著提高了日本医学领域的语言模型在解决日本医学许可考试方面的准确性，超过了50%。特别是，与英文为中心的模型相比，以日语为中心的模型在通过指导调整方面取得了更大的改进，这凸显了我们地方语言的持续预训练和标记工具的调整的重要性。我们还检验了两种略有不同的提示格式，结果显示有可观的性能改进。
Jun, 2024
本研究针对大型语言模型在医疗保健中的应用，通过对MedQuAD医学问答数据集进行深入分析，识别出最有效的模型。研究发现，Sentence-t5与Mistral 7B的组合在提供准确医疗信息方面表现优越，精度达0.762，突显了高级预训练技术和有效的提示构建方法在医疗知识获取中的潜力。
Aug, 2024
本研究解决了在医疗领域中，通用大语言模型适应性差和计算成本高的问题。我们提出了两个多语言指令微调数据集，并介绍了一种两阶段训练范式，有效结合了医学知识和任务特定问题的训练。实验结果显示，该方法在英语和多语言基准测试中表现出色，推动了多语言医疗模型的应用潜力。
Sep, 2024