Aug, 2023

ChatGPT-HealthPrompt。利用 ChatGPT 在基于提示的医疗决策支持中发挥 XAI 的力量

PDF
TL;DR该研究提出了一种创新的方法，在临床决策中应用大型语言模型（LLMs），重点关注 OpenAI 的 ChatGPT。我们的方法介绍了在数据稀缺情况下，采用上下文提示（策略性地设计了包括任务描述、特征描述和领域知识整合的提示）进行高质量二元分类任务的应用。我们的研究探索了 LLMs 基于零样本和少样本提示学习的动态性，通过比较 OpenAI 的 ChatGPT 在不同数据条件下与传统监督式机器学习模型的性能，旨在提供对不同数据可用性下提示工程策略有效性的见解。这篇论文架起了人工智能和医疗保健之间的桥梁，提出了一种新的 LLMs 在临床决策辅助系统中的应用方法，并强调了提示设计、领域知识整合和灵活学习方法在增强自动化决策方面的变革潜力。
large language modelsclinical decision-makingcontextual promptsdomain knowledge integrationautomated decision-making
发现论文，激发创造
  • ChatGPT 作为您的个人数据科学家

    本研究介绍了一种基于 ChatGPT 的对话式自动化机器学习 (AutoML) 框架作为 “个人数据科学家”，通过多个语言模型实例构建了自然界面，展示了对话式数据科学的新概念，同时也突出了 ChatGPT 的潜在缺陷和改进机会。

    May, 2023

  • ChatGPT 在 USMLE 上的表现：揭示大型语言模型为 AI 辅助医学教育的潜力

    本研究评估了使用 ChatGPT 回答医学问题的可靠性，结果发现 ChatGPT 的答案更加上下文相关，代表着较好的演绎推理模型。ChatGPT 等语言学习模型可以成为 e-learners 的宝贵工具，但研究表明还有提高其准确性的空间。

    Jun, 2023

  • 评估 ChatGPT 在门诊分诊指导中的应用：一项比较研究

    评估 ChatGPT 在门诊指导中提供的回复一致性，包括版本内回复分析和版本间比较，结果表明 ChatGPT-4.0 的内部回复一致性显著高于 ChatGPT-3.5，并且两者的最佳推荐都具有中等一致性。然而，版本间的一致性相对较低，指示两个版本之间几乎没有匹配的推荐。此外，只有 50％的最佳推荐在比较中完全匹配。ChatGPT-3.5 的回复更可能是完整的，相较于 ChatGPT-4.0，这表明两个版本之间存在信息处理和回复生成的可能差异。这些发现提供了关于 AI 辅助门诊运作的见解，同时也促进了对 LLM 在医疗利用中的潜力和限制的探索。未来的研究可能会根据人体工程学和人因原则，精确地根据有效门诊分诊的特定需求，谨慎优化 LLM 和 AI 在医疗系统中的整合。

    Apr, 2024

  • 评估 ChatGPT 家族模型在生物医学推理和分类中的表现

    研究了大型语言模型在生物医学任务中的性能，并与更简单的模型进行了比较，特别地，探讨了分类和因果关系检测任务。发现精细调整后的模型依然是最佳策略，而简单的词袋模型的表现与最复杂的大型语言模型的表现相当。

    Apr, 2023

  • ChatGPT 和大型语言模型在生物医学和健康领域的机遇和挑战

    该研究调查了大型语言模型在生物医学和健康领域中的多种应用，包括生物医学信息检索、问答、文本摘要、信息提取和医学教育等，并研究了 LLM 是否具有革新这些任务的能力，发现 LLMs 在生物医学文献生成方面已取得了显著进展，但在其他方面，其进展并不太大。虽然大型语言模型在生物医学与健康领域应用的潜力巨大，但其使用也存在某些风险和挑战，例如可疑生成的信息以及涉及敏感病人数据的法律和隐私问题。

    Jun, 2023

  • 学习在课堂中进行提示以理解 AI 的限制：一项试点研究

    研究人工智能（AI）的可接受性，探究影响 AI 接受的因素并通过 AI 受教育介入提高人工智能 AI 繁殖的文化训练。

    Jul, 2023

  • 聊天 GPT 与情感增强提示在心理健康分析中的评估

    本文详细评估了 ChatGPT 在 11 个数据集上的心理健康分析和情感推理能力，分析了不同提示策略对其分析能力和可解释性的影响，并发现情感提示可以有效提高其性能，但需要正确的情感注入方式。

    Apr, 2023

  • 告诉我想听的：及时知识对健康问题回答准确性的影响

    本文研究了使用提示知识和不使用提示知识时，ChatGPT 生成的答案准确性的差异，并发现使用提示知识会降低答案的准确性。这对基于生成式预训练语言模型的更健壮和透明的问答系统的开发具有重要的启示作用。

    Feb, 2023

  • ChatGPT 公平性与可解释 - 引导提示的作用

    大规模语言模型在信用风险评估中的潜力研究表明，当遵循精心设计的提示并辅以领域特定知识时，这些语言模型可以与传统机器学习模型的性能相媲美。尤其值得注意的是，它们只使用了极少的数据 - 仅 20 个数据点，相比于机器学习模型的 800 个数据点少了 40 倍。大规模语言模型在降低误报率和增强公平性方面表现出色，这两个方面对于风险分析至关重要。虽然我们的结果没有超过传统机器学习模型，但它们突显了大规模语言模型在类似任务中的潜力，并为未来在多样化的机器学习任务中利用大规模语言模型的能力奠定了基础。

    Jul, 2023

  • ChatEd: 高等教育中基于 ChatGPT 的增强学习体验的聊天机器人

    结合 ChatGPT 和传统的基于信息检索的聊天机器人框架，提供优化的高等教育学生支持，以解决 LLMs 在教育背景下生成错误、偏见或无用答案的挑战。

    Dec, 2023