Jun, 2024

零样本基于提示的分类：德语推文中的主题标签

PDF
TL;DR基于最新的自然语言处理技术，本研究通过使用基于写作指南的文本对文本界面而无需提供培训样本的方法，评估其在实际应用中自动化注释任务中的效果，结果表明即使受到本地计算资源限制，这种以提示为基础的方法与经过优化的 BERT 模型相当，且无需任何已标记的训练数据。
filteringannotatingautomatingnlpprompt-based approach
发现论文，激发创造
  • 超级提示：利用模型无关的语境数据减少视觉常识任务中的数据注释需求

    本文研究如何使用 Prompt-based Fine-tuning 技术提高语言模型和多模式因果变换器模型的效果，结果表明使用只有 35%-40% 的训练数据集便能取得可比较的效果，从而达到显著的时间和费用节约。

    Apr, 2022

  • 克服提示扰动敏感性的零样本方法

    该研究旨在在零 - shot 设置中找到高质量的 prompt。我们的自动化方法使用位置、推理和释义技术生成多个与基本 prompt 类似的 prompt，然后使用新的度量标准对这些 prompt 进行排名。我们实验证明，排名靠前的 prompt 是高质量的，显著优于基本 prompt 和使用 few-shot learning 生成的 prompt，适用于句子级情感分类任务。

    May, 2023

  • POUF: 面向提示的无监督微调大规模预训练模型

    本研究提出一种无监督的精调框架，用于快速和直接地向未标记的目标数据进行深度学习模型的预训练，并在图像分类、情感分析和自然语言推理任务中实现了持续的改进。

    Apr, 2023

  • 使用设计的条件提示和上下文进行零样本实体和推文特征描述

    本研究使用预训练语言模型来解决媒体偏见的问题，一方面通过对大型新闻语料库的有条件前缀的微调，对通用实体进行主观性表征；另一方面，通过对来自几个流行 hashtag 的 Twitter 语料库的微调，使用语言模型对推文进行前缀、问题和上下文摘要提示进行表征的评估。

    Apr, 2022

  • 基于自然语言推理的跨语料零样本情感分类提示

    本研究通过分析不同的提示公式，以及使用基于自然语言推理的分类器，探讨零样本学习情感分类问题。并且通过使用多个提示公式的组合，实现了更加稳定且表现良好的情感分类。

    Sep, 2022

  • 文本分类的语言模型：局部学习是否足够？

    在这篇论文中，我们通过对 16 个文本分类数据集进行大规模评估研究，比较了零样本和少样本的大型语言模型与微调较小语言模型在文本分类方面的表现。结果表明，更小且更高效的语言模型的微调仍然能胜过大型语言模型的少样本方法，在文本分类方面有改进的空间。

    Mar, 2024

  • 多语言推特情感分类：人类标注员的角色

    该研究分析使用不同语言的大量手动标记的推文作为训练数据构建自动分类模型时，训练数据的质量和数量对于分类模型的质量比所使用的模型类型更为重要，并且当训练集的大小足够大时，模型的性能接近于标注者一致性，但定期监视标注者的一致性是非常重要的，从而改善训练数据集和模型性能，最后我们还表明，有强有力的证据表明，人们认为情感类别（消极的，中性的和积极的）是有序的。

    Feb, 2016

  • 利用生成语言模型进行零样本文本分类

    本文研究了使用自然语言实现零样本模型对新任务的自适应性，通过社交评论平台的文本和元数据作为简单的预训练任务，并提供分类任务的自然语言描述作为输入训练语言模型，以生成正确答案的方式进行自然语言的模型推广，克服了多任务分类的缺点，在六个基准文本分类数据集上训练出具有零样本性能的生成性语言模型，结果显示语言可以作为任务自适应的简单而强大的描述符，这为文本问题的新元学习策略指明了方向。

    Dec, 2019

  • AutoPrompt: 使用自动生成的提示从语言模型中引导知识

    利用自动化方法生成的 AutoPrompt，我们展示了预训练语言模型在自然语言推理、情感分析和关系提取方面的潜在能力，以及自动生成的提示方法是现有探究方法的一个可行的无参数替代方法。

    Oct, 2020

  • 使用指令微调语言模型的自动化少样本分类

    通过使用指导微调的语言模型，构建了一个用于 few-shot 学习的方法，名为 AuT-Few，该方法可以自动选择适合的任务指令，并实现了较强的 prompt 稳健性和良好的分类性能。

    May, 2023