Oct, 2023

请用英语问我：用于医疗问题的大型语言模型的跨语评估

PDF
TL;DR本文提供了一个框架来研究 LLMs 作为多语言对话系统在医疗查询中的有效性。通过对英语、西班牙语、中文和印地语等四种主要全球语言的广泛实验和算法与人工评估相结合的策略，我们发现 LLMs 在这些语言中的回答存在明显差异，表明需要增强跨语言能力。我们进一步提出了一种用于检测 LLMs 在医疗环境中多语言能力的跨语言基准。研究结果强调了增强这些模型的跨语言能力以及提供一个对所有人可访问的公平信息生态系统的紧迫性。
large language modelsllmsmulti-lingual dialogue systemshealthcare queriescross-lingual capabilities
发现论文，激发创造
  • 评估医学应用中的大型语言模型：一项调研

    综述医学领域中大型语言模型评估的现状、挑战以及将其负责地整合到临床实践中所需的持续研究和创新。

    May, 2024

  • 医疗领域中的大型语言模型：综述

    大型语言模型在医疗保健领域的部署引发了热情和忧虑，本综述论文探讨了针对医疗保健应用设计的现有大型语言模型的功能，从传统的预训练语言模型到目前的医疗保健领域的大型语言模型发展轨迹，特别关注临床语言理解任务的潜力以及性能评估、挑战和限制。

    Dec, 2023

  • 医疗领域中的大型语言模型：一项综合基准评估

    评估医疗领域中多样化的大型语言模型在七个任务和十三个数据集上的综合性能

    Apr, 2024

  • 医疗大语言模型综述：从数据、技术和应用到问责与伦理

    大型语言模型在医疗领域的利用引发了劲头和担忧，本文概述了目前开发的大型语言模型在医疗保健方面的能力，并阐明它们的发展过程，旨在提供从传统预训练语言模型（PLMs）到大型语言模型（LLMs）的发展路线图的概览。总的来说，我们认为正在进行一次重大的范式转变，从 PLMs 过渡到 LLMs，这包括从辨别式人工智能方法向生成式人工智能方法的转变，以及从以模型为中心的方法论向以数据为中心的方法论的转变。

    Oct, 2023

  • 通用到医疗应用的大型语言模型调查：数据集、方法论和评估

    大型语言模型（LLMs）在各种自然语言处理任务中表现出令人惊讶的性能。最近，结合领域特定知识的医学 LLMs 在医疗咨询和诊断方面展现出卓越能力。本文系统地探讨了如何基于通用 LLMs 训练医学 LLMs，并提供了指导各种医学应用的 LLMs 发展的方法。

    Jun, 2024

  • 重新定义大型语言模型在数字健康界面中的应用

    数字卫生工具与大型语言模型（LLMs）结合可在临床环境中提供新颖的接口，增强数字医疗工具的实用性和实际影响，解决了使用 LLMs 时出现的问题，如幻觉，从而提高心血管疾病和糖尿病风险预测的效果。

    Oct, 2023

  • MedExpQA: 多语言大型语言模型在医疗问题回答方面的基准评估

    该论文介绍了 MedExpQA，一个基于医学考试的多语言基准，用于评估大型语言模型在医学问答中的表现，并指出目前大型语言模型的性能还有很大的改进空间，特别是对于英语以外的语言。同时，该研究还强调了获取和整合可用的医学知识对于医学问答的后续评估结果具有困难，并呼吁进一步开发其他语言的基准。

    Apr, 2024

  • 大型语言模型准备好应用于医疗保健了吗？临床语言理解的比较研究

    本研究通过对临床语言理解任务的全面评估和引入一种新的提示策略 —— 自问自答提示（SQP），来提高大型语言模型 (GPT-3.5、GPT-4 和 Bard) 在医疗相关任务中的性能，同时还提供了有关挑战性关系抽取任务误差分布和潜在改进方法的有价值洞察。此项研究为之后的研究和开发医疗应用奠定了基础。

    Apr, 2023

  • 在医学问题回答中探索大型语言模型的领域：观察和开放性问题

    通过评估各种流行的大型语言模型对医学问题的知识，我们能够更好地了解它们作为一个群体的特性。从这次比较中，我们提供了初步的观察结果并提出了进一步研究的问题。

    Oct, 2023

  • 医学中的大型语言模型：潜力与陷阱

    大型语言模型在医疗保健领域已得到应用，从医学考试问题到回答患者问题。随着生产 LLM 的公司和医疗系统之间的机构合作增加，真实世界的临床应用越来越接近现实。随着这些模型的推广，医疗从业人员了解 LLMs 是什么，其发展过程，目前和潜在的应用以及在医学中利用时存在的问题非常重要。这篇综述和附带的教程旨在概述这些主题，以帮助医疗保健从业者了解 LLMs 在医学中的快速变化景观。

    Aug, 2023