Nov, 2023

医生是否了解如何提示？在临床笔记生成中自动优化提示帮助的需求

PDF
TL;DR研究使用提示工程来提高临床笔记生成中大型语言模型的性能，引入一种自动提示优化（APO）框架来改进初始提示，并比较医学专家、非医学专家以及 APO 增强的 GPT3.5 和 GPT4 的输出结果。结果突显了 GPT4 APO 在标准化临床笔记各个部分的提示质量方面表现优越。人机协同方法表明专家在 APO 后保持内容质量，偏好对自己的修改，这表明专家定制化的价值。我们建议采用两阶段的优化过程，利用 APO-GPT4 提高一致性，并利用专家意见进行个性化。
prompt engineeringlarge language modelsclinical note generationautomatic prompt optimizationexpert customization
发现论文，激发创造
  • 使用 “梯度下降” 和束搜索优化自动提示

    本文提出了一种自动优化提示技术（APO）来改进 Large Language Models（LLMs）的图灵能力，APO 采用数值梯度下降的方法来自动更改提示语并带来了很大的效率提升和预测性能的提升。

    May, 2023

  • 大型语言模型的自动提示选择

    自动选择给定输入的最佳提示，克服手动设计有效提示的挑战，通过聚类训练数据、生成候选提示、生成输入 - 提示 - 输出数据集以训练评估器，并使用评估器在测试时选择最佳提示来实现兼顾通用性和特异性的方法。在零 - shot 问答数据集上显示出竞争性性能。

    Apr, 2024

  • 零轉化臨床自然語言處理中大型語言模型的提示策略實證評估

    本文综合系统地对五个临床自然语言处理任务（临床意义消除、生物医学证据提取、共指消解、药物状态提取和药物属性提取）的提示工程进行了实验研究，评估了多种提示类型在三种先进的大型语言模型（GPT-3.5、BARD 和 LLAMA2）上的性能，并提出了对临床 NLP 领域提示工程的新见解和指南。

    Sep, 2023

  • 大型语言模型是人类水平的提示工程师

    使用语言模型作自然语言指导的条件，我们提出了自动提示工程师（APE），通过搜索竞选一组精心设计的自动生成的提示中的最佳提示来优化指令来解决 NLP 任务中的性能问题，并实现对模型的更好的指导和性能提升。在 24 个任务中，通过自动产生的新指令，我们的 APE 方法可使性能提高，并在 19 个任务中的性能甚至好于人类注释者生成的指令。通过大量定性和定量分析，我们证明了 APE 的有效性。

    Nov, 2022

  • 预训练代码智能语言模型的遗传自动提示学习

    作为预训练语言模型（PLM）的流行方法之一，为了解决其使用的计算成本过高的问题，我们研究了最近在自然语言处理领域中出现的一种潜在解决方案，即 prompt learning。我们发现现有的自动提示设计方法在代码智能任务中非常有限，无法达到预期效果。为了解决这两个问题，我们提出了一种名为 Genetic Auto Prompt（GenAP）的自动设计提示的细致遗传算法。GenAP 无需梯度或额外的计算成本，既无梯度又节约成本。此外，GenAP 在代码智能任务的理解和生成类型都有很好的适用性。我们对三个流行的代码智能 PLMs 进行了 GenAP 的实验，包括缺陷预测、代码摘要和代码翻译。实验结果表明，GenAP 可以有效自动化设计提示的过程，并在所有三个任务中优于其他方法（例如，缺陷预测的准确率平均提高了 2.13%）。据我们所知，GenAP 是第一个为代码智能 PLMs 自动设计提示的工作。

    Mar, 2024

  • 释放大语言模型作为启发优化器的潜力：一种与基于梯度的模型优化器的类比分析

    自动提示优化是改进大型语言模型性能的重要方法。本文提出了一种新颖的视角，通过与基于梯度的模型优化器进行类比，设计了改进的 LLM-based 提示优化器的策略。实验结果表明 GPO 具有有效性和高效性，并分别相对基准方法在 Big-Bench Hard 和 MMLU 上带来了多达 56.8% 和 55.3% 的额外改进。

    Feb, 2024

  • MAPO：使用模型自适应的启动优化提升大型语言模型性能

    基于大语言模型的提示工程研究表明：不同的提示应该针对不同的大语言模型进行适应，以提升其在自然语言处理的各种下游任务中的能力。本研究提出了一种模型自适应的提示优化方法，通过优化针对每个具体大语言模型的原始提示，在各种下游任务中显著提高大语言模型的性能。

    Jul, 2024

  • 通过基于 Transformer 的提示工程提升自动医疗报告的摘要性能

    通过使用两种不同的提示策略（即 shot 提示和 pattern 提示），该研究通过结合范围和领域上下文，改善了自动医学报告的性能，并且获得了最高分数，超过了一般执业医生的参考文献。然而，由于报告中添加了冗余和相关陈述，自动报告的长度大约是人工参考的两倍。

    Nov, 2023

  • 医疗应用的思维工程范式：范围审查和更好实践的建议

    医疗领域中探索提示工程的有效性：回顾近期 114 项应用提示工程于医学领域的研究，覆盖提示学习、提示调优和提示设计领域，结果发现提示设计是最普遍的方法，其中有 12 篇论文中三者的术语被交替使用。ChatGPT 是最常用的大型语言模型，有七篇论文使用它来处理敏感的临床数据，而 “Chain-of-Thought” 是最常见的提示工程技术。提示学习和提示调优的研究通常为评估基于提示的方法提供了基准，但 64% 的提示设计研究缺乏非提示相关的基准。我们提供了总结现有工作的表格和图表，并提出建议以指导未来的研究贡献。

    May, 2024

  • 长提示的自动工程化

    我们研究了自动的长提示工程算法，证明了贪婪算法和遗传算法在搜索效率方面的优越性，并引入了两种利用搜索历史增强搜索算法效果的新技术。我们的研究结果表明，该算法在 Big Bench Hard 的八个任务中实现了平均 9.2% 的准确度提升，突显了自动化提示设计对充分利用 LLMs 的能力的重要性。

    Nov, 2023