Dec, 2023

大型语言模型作为零样本关键词抽取器的初步实证研究

PDF
TL;DR零 - shot 关键短语提取通过无需人工注释数据来构建关键短语提取器，挑战在于其限制了人工干预，然而零 - shot 设置有效地减少了数据标注所需时间和精力。通过对预训练大型语言模型（如 ChatGPT 和 ChatGLM）的最新尝试，在零 - shot 设置中取得了有希望的性能，这激发了我们对基于提示方法进行探索。通过实验结果发现，与现有最先进的无监督和监督模型相比，ChatGPT 在关键短语提取任务上仍有很大的改进空间。
zero-shot keyphrase extractionhuman-annotated datapre-trained large language modelsprompt-based methodsstate-of-the-art unsupervised and supervised models
发现论文，激发创造
  • 利用大型语言模型从知识图谱进行零样本自然语言生成

    本文使用大型语言模型进行预训练生成知识图谱到文本的零样本生成，虽然表现接近最先进水平，但不同情况下有不同结果，并发现语言模型已有的知识与输出文本的质量有显著关联。

    Jul, 2023

  • 大型语言模型的零样本文本分类器

    利用零样本学习采用递进性思维提示，与传统的问答格式相比，GPT 模型在文本分类问题上具备零样本分类器的能力，有效地利用提示策略在各种文本分类场景中展现出较好的性能。

    Dec, 2023

  • 通过与 ChatGPT 聊天实现零样本信息抽取

    本文探讨了零样本信息提取（Zero-shot information extraction）的挑战，通过大型语言模型和基于提示的方法构建具有强大信息提取能力的 ChatIE 框架，成功地实现了多轮问答式的信息提取任务，这为使用有限资源构建信息提取模型提供了研究思路和方法。

    Feb, 2023

  • 再探大型语言模型作为零 - shot 关系抽取器

    本研究聚焦于使用大型语言模型作为无样本关系抽取器。通过分析现有关系抽取提示的不足之处，并引入诸如 CoT 的最新提示技术，我们提出了一种名为 SumAsk 的简单提示方法，通过使用大型语言模型将关系抽取输入转化为有效的问答格式。同时，我们在各种基准测试和设置上进行了广泛的实验，研究了大型语言模型在无样本关系抽取方面的能力，发现 SumAsk 方法在不同模型尺寸、基准测试和设置上都能显著提高大型语言模型的性能，在与无样本和完全监督方法相比具有一定竞争力甚至优越性能的同时，大型语言模型在提取重叠关系方面表现出了良好的性能，然而，不同的关系之间性能差异较大，大型语言模型相较于小型语言模型在处理挑战性的无适用项关系时表现出了有效性。

    Oct, 2023

  • 零样本分类中的提示复杂度导航：计算社会科学中大型语言模型的研究

    在计算社会科学分类任务中，评估了 ChatGPT 和 OpenAssistant 两种公共可访问的 LLM 的零次效果，并研究了各种提示策略的影响。发现在零次设置下，当前 LLMs 无法与较小的经过微调的基线变压器模型（如 BERT）的性能匹配。此外，发现不同的提示策略可以显着影响分类准确性，准确性和 F1 分数的差异超过 10％。

    May, 2023

  • 从空气中诞生：零样本跨语言关键词检测是否比无监督更好？

    本文旨在探究是否可以利用预训练的多语言语言模型，对于没有训练数据的语言进行零样本跨语言关键字提取，并且比较它们与无监督关键字提取器的表现差异。研究结果表明，预训练模型在所有六种语言中都能在零样本条件下，比无监督模型表现更好。

    Feb, 2022

  • 大型语言模型是少样本临床信息提取器

    本文研究了如何使用大型语言模型在缺乏公共医疗语料库和注释的情况下，零和少样本学习从临床文本中提取信息，包括跨度识别、令牌级序列分类和关系提取。通过引入新的 CAS 数据集并进行手动再注释，GPT-3 系统在这些任务上明显优于现有的零和少样本基线。

    May, 2022

  • 通过集合元调整数据集和提示，为零样本学习调整语言模型

    该论文提出了元调谐（meta-tuning）方法，旨在直接针对零样本学习目标对预训练语言模型进行微调，应用于分类任务，并通过聚合 43 个现有的数据集和 441 个标签描述来构建元数据集。实验证明，相比基于自然语言推理的先前 SOTA 零样本学习系统以及同样大小的 QA 模型，元调整模型在新的任务上表现更好，同时我们认为，增加参数数量会进一步提升 AUC-ROC 分数。

    Apr, 2021

  • 大型语言模型也能分享图片！

    该研究探讨了大型语言模型（LLMs），如 InstructGPT，ChatGPT 和 GPT-4，在零样本设置中的图像共享能力，提出了一个两阶段框架，使 LLMs 能够预测潜在的图像共享转向并生成相关的图像描述，通过广泛的实验证明了 GPT-4 在零样本提示下实现了最佳性能，此外，我们发现了零样本提示中的紧密共享能力，证明了我们框架的两个阶段中基于限制的提示的有效性。基于该框架，我们利用 Stable Diffusion 在预测的转向处生成图像，即 PhotoChat ++，据我们所知，这是第一项在没有视觉基础模型的零样本设置中评估 LLMs 图像共享能力的研究。发表后将发布源代码和数据集。

    Oct, 2023

  • 利用大型语言模型探索零样本上位词预测的基于提示的方法

    该研究通过使用大型语言模型（LLMs）对零样本超级类别预测进行研究，基于文本概率计算方法，进行多种生成提示的应用。实验证明，语言模型提示的有效性与经典模式之间存在着强关联，这表明可以在使用较大模型之前，通过较小模型进行初步提示选择。我们还通过自动识别的共同下义词，探究了预测共同下义词和提高超级类别预测的提示增强方法。针对预测更高级概念，我们开发了一个迭代式方法，这进一步提高了 BLESS 数据集的质量（MAP = 0.8）。

    Jan, 2024