JMedLoRA：使用指导调整的日语大型语言模型的医疗领域适应

Oct, 2023

JMedLoRA：使用指导调整的日语大型语言模型的医疗领域适应

JMedLoRA:Medical Domain Adaptation on Japanese Large Language Models using Instruction-tuning

Issey Sukeda, Masahiro Suzuki, Hiroki Sakaji, Satoshi Kodera

TL;DR通过 LoRA-based instruction-tuning 来提高日本医学问答任务的性能，在多项选择题的评估中发现其可以部分地将领域特定知识整合到大型语言模型中，较大模型效果更显著，并突出了将英语为中心的模型适应于日本应用的潜力，同时也强调了日本为中心的模型的局限性，这一举措标志着在不依赖外部服务的情况下，医疗机构可以对模型进行精细调整和操作的先驱性努力。

Abstract

In the ongoing wave of impact driven by large language models (LLMs) like ChatGPT, the adaptation of LLMs to medical domain has emerged as a crucial research frontier. Since mainstream LLMs tend to be designed fo

large language models medical domain domain adaptation instruction-tuning japanese medical question-answering

发现论文，激发创造

日本医学问答中的 70B 参数大型语言模型

通过使用多个 70B 参数的大型语言模型以及日本医学问答数据集进行指导调整，我们首次展示了指导调整显著提高了日本医学领域的语言模型在解决日本医学许可考试方面的准确性，超过了 50%。特别是，与英文为中心的模型相比，以日语为中心的模型在通过指导调整方面取得了更大的改进，这凸显了我们地方语言的持续预训练和标记工具的调整的重要性。我们还检验了两种略有不同的提示格式，结果显示有可观的性能改进。

Jun, 2024

从基础到会话：日语指导数据集和调整大型语言模型

我们构建了一个日本指令数据集，并将其应用于一个日本预训练基础模型。通过我们的指令数据集，对日本和英文现有模型进行了低秩调整（LoRA）。从定量和定性的角度评估了这些模型，结果证实了日本指令数据集的有效性。同时也指出，即使在相对较小的大语言模型中，通过指令调整也能提高下游任务的性能。我们的指令数据集、调整模型和实现代码已在网上公开提供。

Sep, 2023

多模态指令调节与条件化 LoRA 混合

通过与多模态指令调优相结合，引入了一种综合了条件的低秩适应矩阵 (MixLoRA) 的新方法，旨在减轻任务干扰，实现在多样的多模态任务中具有良好的适应性和灵活性。实验结果表明，MixLoRA 不仅在相同或更高秩的情况下胜过传统的低秩适应方法 LoRA，展现出其在各种多模态评估数据集上的有效性和适应性。

Feb, 2024

AlpaCare：针对医疗应用进行指导调优的大型语言模型

通过 fine-tune LLaMA 系列模型使用 52k 多样化的、机器生成的医疗指令数据 MedInstruct-52k，得到模型 AlpaCare，研究对比了 AlpaCare 与以往指令调整模型在医学和一般领域中的医疗能力和通用性，结果显示 AlpaCare 在医学和一般领域中具有较强的医学能力和通用性。

Oct, 2023

混合 LoRA：大型语言模型的高效多任务调优

使用 Mixture-of-LoRAs (MoA) 架构的多任务学习方法，通过培训多个领域特定的 LoRA 模块，采用明确的路由策略和领域标签来防止任务之间的干扰，并最终提高每个个体任务的性能，进而促进领域特定大语言模型（LLMs）的广泛应用。

Mar, 2024

探索生物医学语言处理中指令调整的有效性

利用指令调整（instruction tuning）技术，对两个规模庞大的通用语言模型进行研究，以期在生物医学自然语言处理任务上取得类似于 BioBERT 和 BioClinicalBERT 等特定编码器模型的结果，并提供了相应的代码、模型和基于指令的数据集。

Dec, 2023

SuryaKiran 参加 MEDIQA-Sum 2023: 利用 LoRA 进行临床对话摘要

本文介绍了一种名为 “Low Rank Adaptation” 的 PEFT 方法，并在临床对话摘要任务中展示了其评估结果，这种方法与端到端的调优效果相当。

Jul, 2023

JaFIn: 日本金融指导数据集

我们通过构建一个适用于大型语言模型（LLM）的指令数据集，展示了指令调整通过域适应的有效性，利用多个数据源手动构建了一个名为 JaFIn 的日文金融指令数据集，并应用于几个 LLM，证明我们的金融专业模型在领域适应性方面比原始模型更好，通过定量的日本金融基准和定性的响应比较表明其表现得到了改进。

Apr, 2024

MOELoRA：一种基于 MOE 的参数高效微调方法，适用于多任务医疗应用

我们提出了一种新颖的用于多任务医疗应用的参数高效微调框架 MOELoRA，通过 MOE 和 LoRA 的统一，利用多个专家作为可训练参数，并为各种任务生成不同的参数，以解决医疗场景中任务多样性和微调成本高昂的问题。我们的实验证明，MOELoRA 优于现有的参数高效微调方法。

Oct, 2023

通过轻量级领域自适应大型语言模型实现放射学报告摘要

本文系统探讨了轻量级的策略来适应大型语言模型（LLM）以进行放射学报告摘要（RRS）的任务。研究表明，通过在病例文本语料库中进行预训练，以及使用参数高效的微调技术，在 RRS 范例上进行微调有助于最大程度地适应任务，为临床任务开发有效的自然语言处理解决方案提供了有价值的参考。

May, 2023