Apr, 2022

使用设计的条件提示和上下文进行零样本实体和推文特征描述

PDF
TL;DR本研究使用预训练语言模型来解决媒体偏见的问题，一方面通过对大型新闻语料库的有条件前缀的微调，对通用实体进行主观性表征；另一方面，通过对来自几个流行 hashtag 的 Twitter 语料库的微调，使用语言模型对推文进行前缀、问题和上下文摘要提示进行表征的评估。
online newssocial mediabiaslanguage modelsnamed entities
发现论文，激发创造
  • 媒体机构对公众人物的潜在观点的描述

    媒体机构报道公众人物时，常常受到自身世界观的影响，从而带有个人偏见。本研究提出了一种零 - shot 方法，用 GPT-2 从语料库中生成非抽取式或生成式的人物实体描述，以更好地理解和解释新闻故事。

    Sep, 2023

  • 零样本基于提示的分类：德语推文中的主题标签

    基于最新的自然语言处理技术，本研究通过使用基于写作指南的文本对文本界面而无需提供培训样本的方法，评估其在实际应用中自动化注释任务中的效果，结果表明即使受到本地计算资源限制，这种以提示为基础的方法与经过优化的 BERT 模型相当，且无需任何已标记的训练数据。

    Jun, 2024

  • 实体、日期和语言：使用 T0 进行历史文本的零样本学习

    本文探讨了使用 T0 模型的 zero-shot 技术来进行跨越时间和语言的 NER 是否可行，通过历史文献的测试，结果表明利用 prompt 的 naive 方法在 zero-shot 多语种 NER 方面存在误差，但揭示了该方法在缺乏标记数据的历史语言方面的潜力。此外，实验结果也表明类似 T0 的模型可以用于预测文档的发布日期和语言，这对于历史文本研究非常有意义。

    Apr, 2022

  • GPT-3 时代的新闻摘要和评估

    本文研究 GPT-3 等零样本学习模型对新闻文本摘要的影响，发现零样本模型的摘要被人类普遍接受，且不会出现数据特异性问题，并探讨零样本摘要的评估问题和后续研究挑战。

    Sep, 2022

  • 使用 ChatGPT 进行零样本临床实体识别

    本研究旨在探究以零注释方式进行临床命名实体识别任务中，OpenAI 开发的大型语言模型 ChatGPT 以两种不同提示策略的潜力。我们将其与 GPT-3 在类似的零注释情况下进行比较，以及使用来自 MTSamples 的一组合成临床笔记的精调 BioClinicalBERT 模型。研究发现，与 GPT-3 相比，ChatGPT 在零注释情况下表现优异，并且使用不同的提示策略可以过提高其性能。虽然 ChatGPT 的表现仍低于 BioClinicalBERT 模型，但本研究证明了 ChatGPT 在不需要注释的情况下进行临床 NER 任务的巨大潜力。

    Mar, 2023

  • 使用 ChatGPT 进行实体匹配

    本文探讨使用 ChatGPT 作为传统 Transformer 模型的更健壮、训练数据更有效的替代方法，对实体匹配任务进行实验，证明 ChatGPT 表现竞争力与经过 fine-tuned 的 RoBERTa 模型相当，达到 83％的 F1 零次训练，同时使用很少一部分的在上下文中的示例以及提供高级匹配规则可在零次训练下获得类似的增益。

    May, 2023

  • 克服提示扰动敏感性的零样本方法

    该研究旨在在零 - shot 设置中找到高质量的 prompt。我们的自动化方法使用位置、推理和释义技术生成多个与基本 prompt 类似的 prompt，然后使用新的度量标准对这些 prompt 进行排名。我们实验证明，排名靠前的 prompt 是高质量的，显著优于基本 prompt 和使用 few-shot learning 生成的 prompt，适用于句子级情感分类任务。

    May, 2023

  • 基于自然语言推理的跨语料零样本情感分类提示

    本研究通过分析不同的提示公式，以及使用基于自然语言推理的分类器，探讨零样本学习情感分类问题。并且通过使用多个提示公式的组合，实现了更加稳定且表现良好的情感分类。

    Sep, 2022

  • Gen-Z: 基于上下文化标签描述的生成式零样本文本分类

    Gen-Z 是一种用于零食文本分类的生成提示框架，通过在标签的自然语言描述上依赖语言模型的可能性来改善任务性能，并在多个标准分类基准上展现了优越性能。

    Nov, 2023

  • 通过与 ChatGPT 聊天实现零样本信息抽取

    本文探讨了零样本信息提取（Zero-shot information extraction）的挑战，通过大型语言模型和基于提示的方法构建具有强大信息提取能力的 ChatIE 框架，成功地实现了多轮问答式的信息提取任务，这为使用有限资源构建信息提取模型提供了研究思路和方法。

    Feb, 2023