Mar, 2024

基于有限样本的思维链驱动推理用于开放式医学问题回答的 LLMs

PDF
TL;DR使用大型语言模型（LLMs）自动化医疗任务，如临床记录、信息检索和决策支持。我们提出一种修改的 MedQA-USMLE 数据集，用于模拟真实的临床场景，并探索基于思维链（CoT）推理的主观响应生成，以获取正确的医疗问题答案。我们还利用回报训练机制和人类参与，开发了更好的对比学习策略，并通过增量推理的提示得出贪婪解码方法比其他策略更好的结论。
large language modelshealthcareclinical scenariosresponse verificationincremental reasoning
发现论文，激发创造
  • 使用 LLM 进行深入对话问题的思维链提示

    本文通过构建 6 个涵盖用户状态的（包括人格、情绪和心理）中英数据集，探索了 CoT 方式来帮助大型语言模型进行推理和规划，以提供更个性化和优质的用户体验，并提出了一种新颖的演示选择策略，使用中间推理的语义相似性进行，实验证明了我们的方法相对标准提示在所有数据集上均表现出更好的有效性和稳健性。

    May, 2023

  • 自主链式思维对于面向开放域多跳推理的大型语言模型

    在这篇文章中，我们提出了自主启发式链式思考 (SP-CoT) 自动化框架，用于大规模生成高质量的多跳推理数据集并通过上下文学习实现自主启发式推理，实验证明 SP-CoT 在大规模和小规模语言模型上的性能均显著优于前沿方法，并能在中间步骤中召回约 50% 的中间答案。

    Oct, 2023

  • 大型语言模型的思路链主动提示

    本文提出了一种新的方法 Active-Prompt，通过任务特定的示例提示来适应 LLMs 的不同任务，通过从特定的查询池中选择最不确定的问题进行注释来确定哪些问题是最重要和有帮助的。经验结果表明了我们提出的方法的优越性，取得了八项复杂推理任务的最新成果。

    Feb, 2023

  • 大型语言模型执行诊断推理

    通过将思路链式提示（CoT）拓展到医学推理领域，我们提出了诊断推理 CoT（DR-CoT）。实证结果表明，通过仅向仅训练于一般文本语料库的大型语言模型提供两个 DR-CoT 实例来指导，诊断准确性提高了 15%。此外，在领域外情景中，该差距达到显著的 18%。我们的研究结果表明，大型语言模型中可以通过适当的提示引出专家知识推理。

    Jul, 2023

  • 诊断推理提示揭示了在医学领域中大型语言模型可解释性的潜力

    GPT4 可以通过使用诊断推理提示模拟临床医生的常见临床推理过程，而不会损失诊断准确性，因此它可以为医生提供评估 LLMs 是否可信赖用于患者护理的手段。新的提示方法有潜力揭示 LLMs 的黑盒子，将它们推向在医学中安全有效使用的一步。

    Aug, 2023

  • 大型语言模型中演化算法引导的零射链条思维推理

    大语言模型通过应用无需预先训练的思维链式促进方法展示了卓越的表现，并展示了出色的推理能力。本文介绍了一种新的零样本促进方法，利用进化算法为大语言模型动态生成多样的促进方式，通过选择适合的促进方式提高模型的理解能力。详细实验结果表明，相较于当前的零样本推理方法，在 GPT-3.5-turbo 和 GPT-4 上，我们的方法表现出更优越的性能。此外，深入的分析实验突显了本方法在各种推理任务中的适应性和有效性。

    Feb, 2024

  • 大型语言模型是否能够对医学问题进行推理？

    研究了 GPT-3.5 在实际世界中具有强大推理能力和专业领域知识的应用能力，使用了多项提示方法（CoT、零和少量训练以及检索增强），并在医学考试和阅读理解领域取得了人类水平表现。

    Jul, 2022

  • 自动发现的链式思维提示适用于新模型和数据集

    通过使用自动探索的 CoT prompt 对多个 LLMs 进行无监督语言生成，我们发现将该 prompt 应用于最新的 GPT-4 模型是最优的。

    May, 2023

  • 大型语言模型是临床推理器：具备推理意识的诊断框架和提示生成的合理化

    借助基于提示的学习，通过 “推理感知” 的诊断框架实现了对临床推理进行理性化，并能够在时间和劳动资源上具有高效性，从而实现了对疾病诊断的临床推理。

    Dec, 2023

  • ChainLM: 通过改进思维连贯性促进大型语言模型的能力

    Chain-of-Thought 提示可以增强大型语言模型（LLMs）的推理能力，现有的 CoT 综合方法针对简单推理任务，导致 CoT 提示的质量低且不一致。为了应对这一挑战，我们进行了 CoT 提示的实证研究并引入了 CoTGenius，一个用于自动生成优质 CoT 提示的新框架。我们进一步采用 CoTGenius 创建了一个广泛的 CoT 数据集，并在该数据集上对 Llama 2-Chat 7B 和 13B 模型进行了微调，得到了 ChainLM 模型。为了解决推理步骤中的累积误差问题，我们提出了一种步骤级辩论方法，其中多个辩论者讨论每个推理步骤，得出正确答案。大量实验证明，与现有模型相比，我们的 ChainLM 模型在解决一系列复杂推理问题方面表现出更高的熟练度。此外，我们对 CoTGenius 中的数据类别对模型性能的影响进行了深入分析。我们在此 https URL 上发布了我们的数据集和代码。

    Mar, 2024