Jan, 2022

ZeroBERTo：利用主题建模提高零样本文本分类能力

PDF
TL;DR本文提出了一种名为 ZeroBERTo 的新模型，利用无监督聚类方法在分类任务前获取压缩数据表示，其在长文本输入的性能和执行时间上都优于 XLM-R， F1 分数比 FolhaUOL 数据集上的 XLM-R 高约 12％。
发现论文，激发创造
  • 自训练的零样本文本分类

    本文提出一种基于自训练方法的插入式零样本文本分类技术，无需领域专业知识或经验，仅需要类别标签和无标记数据，可显著提高性能，适用于各种文本分类任务。

    Oct, 2022

  • Train Once, Test Anywhere: 零样本学习用于文本分类

    提出了使用零样本学习的方法在大语料库上训练模型来学习语句和其标签之间的关系，以实现模型对未知语句和标签的预测，并报告在三个不同数据集上的实验结果，该方法是自然语言处理中通向智能化的一步。

    Dec, 2017

  • 使用句子转换器进行零样本文本匹配的自动审计

    本文探讨了使用基于 transformer 的 Sentence-Bert 模型进行无监督文本匹配的效率，结果表明该模型对于金融领域内外的文本均有很好的鲁棒性。

    Oct, 2022

  • 大型语言模型的零样本文本分类器

    利用零样本学习采用递进性思维提示，与传统的问答格式相比，GPT 模型在文本分类问题上具备零样本分类器的能力，有效地利用提示策略在各种文本分类场景中展现出较好的性能。

    Dec, 2023

  • 利用生成语言模型进行零样本文本分类

    本文研究了使用自然语言实现零样本模型对新任务的自适应性，通过社交评论平台的文本和元数据作为简单的预训练任务，并提供分类任务的自然语言描述作为输入训练语言模型，以生成正确答案的方式进行自然语言的模型推广，克服了多任务分类的缺点，在六个基准文本分类数据集上训练出具有零样本性能的生成性语言模型，结果显示语言可以作为任务自适应的简单而强大的描述符，这为文本问题的新元学习策略指明了方向。

    Dec, 2019

  • 关于零样本机器生成文本检测器稳定性的评估

    通过我们的研究，我们发现了自然语言生成、零样本机器生成文本检测以及大型语言模型等关键词之间的显著相关性，同时我们还探讨了话题转变对零样本检测方法的影响，揭示了这些检测方法在各种不同话题下的适应性和鲁棒性。

    Dec, 2023

  • 零样本文本分类的标签无关预训练

    本文旨在探究利用两种新的有效的预训练策略（Implicit 和 Explicit pre-training）来改善 PLMs 在不同方面与领域的数据上泛化能力，特别是在零样本情况下进行文本分类的任务。作者通过引入 UTCD 数据集进行评估，证明了该方法在一系列零样本范式的挑战数据集上实现了更好的泛化能力。

    May, 2023

  • 零样本学习的跨语言上下文主题模型

    本文介绍了一种零射击跨语言主题模型，利用迁移学习来处理多个语言的数据集，以解决传统基于词袋的主题模型所面临的单语言或巨大而稀疏的词汇表等问题，并评估了在不同语言中同一篇文章的主题预测的准确性和连贯性，结果表明所转移的主题是连贯且稳定的，具有潜在的未来研究方向。

    Apr, 2020

  • 通过自监督微调进行零 - shot 文本分类

    本文提出基于自我监督学习的新范式，通过使用无标签数据来调整语言模型，从而解决零样本文本分类任务，我们通过探索自由文本的内在结构，提出了一种新的学习目标，称为第一句预测，以弥合无标签数据和文本分类任务之间的差距。经过调整模型以学习基于其余部分预测段落中的第一句的能力后，模型能够在看不见的任务上进行零 - shot 推理，例如主题分类和情感分析。实验结果表明，我们的模型在 10 个任务中有 7 个优于最先进的基线模型。

    May, 2023

  • 使用类别描述标注的零样本文本分类训练的好处

    本研究提出了一种简单的方法来进一步提高零 - shot 分类准确性，即利用精心策划的微调数据集描述任务的标签，进而在多个文本域中获得强大的预测模型。

    May, 2023