Mar, 2024

基于有限样本的思维链驱动推理用于开放式医学问题回答的 LLMs

PDF
TL;DR使用大型语言模型（LLMs）自动化医疗任务，如临床记录、信息检索和决策支持。我们提出一种修改的 MedQA-USMLE 数据集，用于模拟真实的临床场景，并探索基于思维链（CoT）推理的主观响应生成，以获取正确的医疗问题答案。我们还利用回报训练机制和人类参与，开发了更好的对比学习策略，并通过增量推理的提示得出贪婪解码方法比其他策略更好的结论。
large language modelshealthcareclinical scenariosresponse verificationincremental reasoning
发现论文，激发创造
  • 使用 LLM 进行深入对话问题的思维链提示

    本文通过构建 6 个涵盖用户状态的（包括人格、情绪和心理）中英数据集，探索了 CoT 方式来帮助大型语言模型进行推理和规划，以提供更个性化和优质的用户体验，并提出了一种新颖的演示选择策略，使用中间推理的语义相似性进行，实验证明了我们的方法相对标准提示在所有数据集上均表现出更好的有效性和稳健性。

    May, 2023

  • 自主链式思维对于面向开放域多跳推理的大型语言模型

    在这篇文章中，我们提出了自主启发式链式思考 (SP-CoT) 自动化框架，用于大规模生成高质量的多跳推理数据集并通过上下文学习实现自主启发式推理，实验证明 SP-CoT 在大规模和小规模语言模型上的性能均显著优于前沿方法，并能在中间步骤中召回约 50% 的中间答案。

    Oct, 2023

  • 大型语言模型的思路链主动提示

    本文提出了一种新的方法 Active-Prompt，通过任务特定的示例提示来适应 LLMs 的不同任务，通过从特定的查询池中选择最不确定的问题进行注释来确定哪些问题是最重要和有帮助的。经验结果表明了我们提出的方法的优越性，取得了八项复杂推理任务的最新成果。

    Feb, 2023

  • 大型语言模型执行诊断推理

    通过将思路链式提示（CoT）拓展到医学推理领域，我们提出了诊断推理 CoT（DR-CoT）。实证结果表明，通过仅向仅训练于一般文本语料库的大型语言模型提供两个 DR-CoT 实例来指导，诊断准确性提高了 15%。此外，在领域外情景中，该差距达到显著的 18%。我们的研究结果表明，大型语言模型中可以通过适当的提示引出专家知识推理。

    Jul, 2023

  • 诊断推理提示揭示了在医学领域中大型语言模型可解释性的潜力

    GPT4 可以通过使用诊断推理提示模拟临床医生的常见临床推理过程，而不会损失诊断准确性，因此它可以为医生提供评估 LLMs 是否可信赖用于患者护理的手段。新的提示方法有潜力揭示 LLMs 的黑盒子，将它们推向在医学中安全有效使用的一步。

    Aug, 2023

  • 大型语言模型中演化算法引导的零射链条思维推理

    大语言模型通过应用无需预先训练的思维链式促进方法展示了卓越的表现，并展示了出色的推理能力。本文介绍了一种新的零样本促进方法，利用进化算法为大语言模型动态生成多样的促进方式，通过选择适合的促进方式提高模型的理解能力。详细实验结果表明，相较于当前的零样本推理方法，在 GPT-3.5-turbo 和 GPT-4 上，我们的方法表现出更优越的性能。此外，深入的分析实验突显了本方法在各种推理任务中的适应性和有效性。

    Feb, 2024

  • 大型语言模型的推理：一项综述

    扩大语言模型的参数规模到数十亿个参数开辟了上下文学习的可能性，允许对模型进行指导调整和少样本学习，从而在模型未经过专门训练的任务上取得了突破性的语言任务性能，如翻译、摘要和问答。本文回顾了基于提示的推理领域的迅速发展。我们的分类法识别出生成、评估和控制多步推理的不同方法。我们对核心方法和开放问题进行了深入研究，并提出了近期的研究议程。最后，我们强调了推理和基于提示学习之间的关系，并讨论了推理、顺序决策过程和强化学习之间的关系。我们发现通过合理使用提示可以实现自我改进、自我反思和推理过程的一些元认知能力。从使用 LLMs 进行推理到 LLMs 进行推理的真正自我改进和自我推理仍然是未来的工作。

    Jul, 2024

  • 大型语言模型是否能够对医学问题进行推理？

    研究了 GPT-3.5 在实际世界中具有强大推理能力和专业领域知识的应用能力，使用了多项提示方法（CoT、零和少量训练以及检索增强），并在医学考试和阅读理解领域取得了人类水平表现。

    Jul, 2022

  • 自动发现的链式思维提示适用于新模型和数据集

    通过使用自动探索的 CoT prompt 对多个 LLMs 进行无监督语言生成，我们发现将该 prompt 应用于最新的 GPT-4 模型是最优的。

    May, 2023

  • 大型语言模型是临床推理器：具备推理意识的诊断框架和提示生成的合理化

    借助基于提示的学习，通过 “推理感知” 的诊断框架实现了对临床推理进行理性化，并能够在时间和劳动资源上具有高效性，从而实现了对疾病诊断的临床推理。

    Dec, 2023