ACLFeb, 2024

在药物监测事件提取中利用 ChatGPT 的实证研究

TL;DR探索大型语言模型 (LLMs) 在医学应用方面的潜力,特别是在药物监测事件提取方面的 ChatGPT 的能力。我们进行了广泛的实验,评估了 ChatGPT 在药物监测事件提取任务中的性能,并采用了各种提示和演示选择策略。研究结果表明,虽然 ChatGPT 在适当的演示选择策略下表现出了合理的性能,但与完全微调的小型模型相比仍然有所不足。此外,我们探索了利用 ChatGPT 进行数据增强的潜力。然而,我们的研究发现将合成数据引入微调可能会导致性能下降,可能是由于 ChatGPT 生成的标签中存在噪声。为了减轻这个问题,我们探索了不同的过滤策略,并发现在适当的方法下可以实现更稳定的性能,尽管不断改进仍然具有挑战性。