告诉我想听的:及时知识对健康问题回答准确性的影响
该研究提出了一种创新的方法,在临床决策中应用大型语言模型(LLMs),重点关注 OpenAI 的 ChatGPT。我们的方法介绍了在数据稀缺情况下,采用上下文提示(策略性地设计了包括任务描述、特征描述和领域知识整合的提示)进行高质量二元分类任务的应用。我们的研究探索了 LLMs 基于零样本和少样本提示学习的动态性,通过比较 OpenAI 的 ChatGPT 在不同数据条件下与传统监督式机器学习模型的性能,旨在提供对不同数据可用性下提示工程策略有效性的见解。这篇论文架起了人工智能和医疗保健之间的桥梁,提出了一种新的 LLMs 在临床决策辅助系统中的应用方法,并强调了提示设计、领域知识整合和灵活学习方法在增强自动化决策方面的变革潜力。
Aug, 2023
本文提出一种嵌入医疗领域知识和启用 Few-shot Learning 的方法,以迎合需要广泛的领域专业知识和语义知识(如医疗保健)的领域的需求。利用一种简单但有效的检索方法,本文高效提取医学背景知识以引导 ChatGPT 的推理和寻答的逻辑。我们的知识增强模型在 CNMLE-2022 上取得了高分 70,且不仅能够通过 CNMLE 考试但是还超越了人类的平均分数(61),这证明了知识增强 ChatGPT 作为多功能医疗助手的潜力,能够以更易于使用和适应的方式分析现实世界的医学问题。
May, 2023
研究 LLMs 和 GPTs 在处理常识问题中的表现,实验结果表明:(1) GPTs 在通识任务中可以取得较好的 QA 准确率,但仍然较难处理某些类型的知识。(2) ChatGPT 具有常识知识,可以利用知识提示正确生成大部分常识知识。(3) ChatGPT 是一名经验不丰富的常识问题解决者,不能准确地识别回答一个特定问题所需的常识知识,这需要更好的常识引导机制,如遵循指示、更好的常识引导等。
Mar, 2023
本研究评估了使用 ChatGPT 回答医学问题的可靠性,结果发现 ChatGPT 的答案更加上下文相关,代表着较好的演绎推理模型。ChatGPT 等语言学习模型可以成为 e-learners 的宝贵工具,但研究表明还有提高其准确性的空间。
Jun, 2023
本研究提出了知识提示范式和基于知识提示的 Pre-trained 语言模型 KP-PLM 框架,该框架通过多种连续提示规则将知识子图转化为自然语言提示,并在这些提示的基础上提出了两个新的知识感知无监督任务,实验证明了 KP-PLM 在多个自然语言理解任务中的优越性。
Oct, 2022
知识注入框架 KnowGPT 在生成式大型语言模型中实现了对问题回答能力的显著增强,通过深度强化学习从知识图谱中提取相关知识,并使用多臂老虎机算法构建适合每个问题的提示,达到了与人类水平相媲美的 OpenbookQA 正式排行榜上的准确率 91.6%。
Dec, 2023
该论文回顾了使用知识图谱增强的预训练模型的研究,详细介绍了现有的知识图谱增强预训练语言模型(KGPLMs)及其应用,并提出了基于知识图谱增强的大型语言模型(KGLLM)的思想以增强 LLM 的面向事实的推理能力,为 LLM 的研究开辟了新的途径。
Jun, 2023
利用自动化方法生成的 AutoPrompt,我们展示了预训练语言模型在自然语言推理、情感分析和关系提取方面的潜在能力,以及自动生成的提示方法是现有探究方法的一个可行的无参数替代方法。
Oct, 2020
使用大型语言模型研究中医药学领域的知识召回和综合推理能力,通过 TCM-QA 数据集评估 LLM 在零样本和少样本设置下的表现,讨论中英提示的差异,结果显示 ChatGPT 在判断题中取得最高精度 0.688,多选题中最低精度为 0.241,中文提示在评估中表现更好,同时评估 ChatGPT 生成的解释质量及其对中医药学知识理解的潜在贡献,为 LLM 在专业领域的适用性提供了有价值的见解,并促进了未来基于这些强大模型推进中医药学研究的方向。
Mar, 2024
ChatGPT 使用大量人类编写的文本进行预训练,然后在人类偏好的基础上进行微调,但它也存在选择具有先前位置的标签作为答案的优先效应,这个问题引发了研究者们的兴趣,该论文研究了 ChatGPT 的主要发现和决策灵敏度。
Oct, 2023