通过与 ChatGPT 聊天实现零样本信息抽取
该论文主要研究大型语言模型在零 - shot 信息提取方面的性能,并提出针对命名实体识别的推理策略,包括分解式问答范式、句法增强和自一致性等方法,并在七个基准测试中取得了显著的改进,对错误类型进行了全面分析,并验证了这些方法在少样本情况和其他大型语言模型中的有效性。
Oct, 2023
本文研究了 ChatGPT 在零 - shot 语音理解和对话状态跟踪任务中的理解能力,并发现 ChatGPT 在对话状态跟踪任务中从多轮交互提示中获益,但在语音理解任务的信息填槽中存在困难。此外,我们总结了 ChatGPT 在对话理解任务中的一些意外行为,希望为未来建立基于大语言模型的零 - shot 对话理解系统提供一些见解。
Apr, 2023
本文评估了 ChatGPT 模型在性能、评估标准、稳健性和错误类型四个方面的能力,并提出了一种用于更准确反映 ChatGPT 性能的软匹配策略,同时发现了 ChatGPT 的最主要的错误类型是 “未注释的跨度”,从而引发了对标注数据质量的关注,并提示可以使用 ChatGPT 进行数据标注。
May, 2023
本文探讨了 ChatGPT 在零 - shot 时序关系抽取中的应用能力,并且设计了三种不同的提示技术来解决该任务。实验表明 ChatGPT 的性能与监督方法有较大差距,并且在时间推理过程中可能存在不一致性和长依赖时序推理失败的问题。
Apr, 2023
本研究旨在探究以零注释方式进行临床命名实体识别任务中,OpenAI 开发的大型语言模型 ChatGPT 以两种不同提示策略的潜力。我们将其与 GPT-3 在类似的零注释情况下进行比较,以及使用来自 MTSamples 的一组合成临床笔记的精调 BioClinicalBERT 模型。研究发现,与 GPT-3 相比,ChatGPT 在零注释情况下表现优异,并且使用不同的提示策略可以过提高其性能。虽然 ChatGPT 的表现仍低于 BioClinicalBERT 模型,但本研究证明了 ChatGPT 在不需要注释的情况下进行临床 NER 任务的巨大潜力。
Mar, 2023
本文通过对 20 个流行的任务数据集进行评估,就 ChatGPT 的零 - shot 学习能力进行了实证分析,并发现它在推理能力较强的任务上表现良好,如算术推理,但在特定任务(如序列标记)的解决方面仍面临挑战。
Feb, 2023
零 - shot 关键短语提取通过无需人工注释数据来构建关键短语提取器,挑战在于其限制了人工干预,然而零 - shot 设置有效地减少了数据标注所需时间和精力。通过对预训练大型语言模型(如 ChatGPT 和 ChatGLM)的最新尝试,在零 - shot 设置中取得了有希望的性能,这激发了我们对基于提示方法进行探索。通过实验结果发现,与现有最先进的无监督和监督模型相比,ChatGPT 在关键短语提取任务上仍有很大的改进空间。
Dec, 2023
本文探讨了零样本跨语言信息抽取的技术,通过结合多种方法,包括数据映射和自我训练,使用英 - 阿 IE 为例,对 8 个目标语言进行实验,证明了该方法的有效性和可行性。
Sep, 2021
运用文本三元组转换模型,将信息提取任务转化为输入文本到输出三元组的翻译过程,通过预训练语言模型的潜在知识对不同任务进行转换,预测输入文本对应的关系性信息可以有效地生成任务特定的输出,并且不需要任何特定的任务训练就可以实现零样本迁移,相比于有训练集的监督学习,具有明显的优势。
Sep, 2021