使用 ChatGPT 进行基于放射学报告的零样本信息提取
本文探讨了零样本信息提取(Zero-shot information extraction)的挑战,通过大型语言模型和基于提示的方法构建具有强大信息提取能力的 ChatIE 框架,成功地实现了多轮问答式的信息提取任务,这为使用有限资源构建信息提取模型提供了研究思路和方法。
Feb, 2023
本研究调查了使用 ChatGPT 将放射学报告翻译成简明语言以提高医疗保健的可行性,并将 ChatGPT 与 GPT-4 进行比较,结果发现 GPT-4 可以显著提高翻译的质量。
Mar, 2023
在这项研究中,我们评估了两个最先进的语言模型 ——GPT-3 和 GPT-3.5(通常被称为 ChatGPT)在提取叙述实体(事件、参与者和时间表达)方面的能力,并发现它们与开箱即用的基准系统相媲美,为资源有限的从业者提供了一种全能的替代方案。通过研究这些模型在信息提取领域的优势和局限性,我们提供了可以指导未来改进和探索的见解。
Nov, 2023
探索大型语言模型 (LLMs) 在医学应用方面的潜力,特别是在药物监测事件提取方面的 ChatGPT 的能力。我们进行了广泛的实验,评估了 ChatGPT 在药物监测事件提取任务中的性能,并采用了各种提示和演示选择策略。研究结果表明,虽然 ChatGPT 在适当的演示选择策略下表现出了合理的性能,但与完全微调的小型模型相比仍然有所不足。此外,我们探索了利用 ChatGPT 进行数据增强的潜力。然而,我们的研究发现将合成数据引入微调可能会导致性能下降,可能是由于 ChatGPT 生成的标签中存在噪声。为了减轻这个问题,我们探索了不同的过滤策略,并发现在适当的方法下可以实现更稳定的性能,尽管不断改进仍然具有挑战性。
Feb, 2024
本研究旨在探究以零注释方式进行临床命名实体识别任务中,OpenAI 开发的大型语言模型 ChatGPT 以两种不同提示策略的潜力。我们将其与 GPT-3 在类似的零注释情况下进行比较,以及使用来自 MTSamples 的一组合成临床笔记的精调 BioClinicalBERT 模型。研究发现,与 GPT-3 相比,ChatGPT 在零注释情况下表现优异,并且使用不同的提示策略可以过提高其性能。虽然 ChatGPT 的表现仍低于 BioClinicalBERT 模型,但本研究证明了 ChatGPT 在不需要注释的情况下进行临床 NER 任务的巨大潜力。
Mar, 2023
本文研究了用 ChatGPT 进行事件抽取的可行性并探究了遇到的挑战,结果表明 ChatGPT 在长尾和复杂情况下只有任务特定模型 EEQA 的 51.04%的性能,ChatGPT 不够稳定,继续改进提示不会导致稳定的性能提高,而且 ChatGPT 对不同的提示风格非常敏感。
Mar, 2023
本文探讨了 ChatGPT 在零 - shot 时序关系抽取中的应用能力,并且设计了三种不同的提示技术来解决该任务。实验表明 ChatGPT 的性能与监督方法有较大差距,并且在时间推理过程中可能存在不一致性和长依赖时序推理失败的问题。
Apr, 2023
该论文主要研究大型语言模型在零 - shot 信息提取方面的性能,并提出针对命名实体识别的推理策略,包括分解式问答范式、句法增强和自一致性等方法,并在七个基准测试中取得了显著的改进,对错误类型进行了全面分析,并验证了这些方法在少样本情况和其他大型语言模型中的有效性。
Oct, 2023
本文研究了如何使用大型语言模型在缺乏公共医疗语料库和注释的情况下,零和少样本学习从临床文本中提取信息,包括跨度识别、令牌级序列分类和关系提取。通过引入新的 CAS 数据集并进行手动再注释,GPT-3 系统在这些任务上明显优于现有的零和少样本基线。
May, 2022
本研究提出了 ChatExtract 方法,该方法利用先进的会话型 LLM(或 AI)自动提取数据,并通过一系列后续问题确保其正确性。 ChatExtract 可用于任何会话型 LLMs,结果表明,由于其简单性,可转移性和准确性,类似 ChatExtract 的方法有望在不久的将来取代其他数据提取方法。
Mar, 2023