Nov, 2022

评估无监督文本分类：零样本和基于相似度的方法

PDF
TL;DR本文对不同的基于相似性和零样本方法进行了系统评估，对四个文本分类数据集进行了基准测试，包括来自医疗领域的新数据集。此外，提出了新的 SimCSE 和 SBERT 基线，其中使用 SimCSE 或 SBERT 嵌入而不是简单的文本表示进一步增强了基于相似性的分类结果。在无监督文本分类方面，提出了新的基于相似性的 Lbl2TransformerVec 方法，其性能优于先前的最先进方法。我们的实验表明，大多数情况下，基于相似性的方法显着优于零样本方法。
text classificationzero-shot approachessimilarity-based approachesmedical domainlbl2transformervec
发现论文，激发创造
  • Train Once, Test Anywhere: 零样本学习用于文本分类

    提出了使用零样本学习的方法在大语料库上训练模型来学习语句和其标签之间的关系，以实现模型对未知语句和标签的预测，并报告在三个不同数据集上的实验结果，该方法是自然语言处理中通向智能化的一步。

    Dec, 2017

  • 无监督标签描述排名和聚合用于零样本分类器

    本文提出了一种基于标签描述的零样本文本分类器，其使用概率模型来在无监督的情况下选择最佳标签描述，并在情感、话题和立场等方面的各种数据集和任务上进行了评估，展示了多个标签描述的聚合可以提高性能。

    Apr, 2022

  • 将语义知识融合应用于零样本文本分类

    本文提出了一个两阶段的框架，结合了数据扩充和特征扩充来解决零样本文本分类问题，同时将四种语义知识结构（词嵌入，类别描述，类层次结构和通用知识图谱）纳入到该框架中，实验结果表明，该框架的单独和联合两个阶段相比基线和最近的方法均获得了最佳的整体准确率。

    Mar, 2019

  • 使用句子转换器进行零样本文本匹配的自动审计

    本文探讨了使用基于 transformer 的 Sentence-Bert 模型进行无监督文本匹配的效率，结果表明该模型对于金融领域内外的文本均有很好的鲁棒性。

    Oct, 2022

  • 自训练的零样本文本分类

    本文提出一种基于自训练方法的插入式零样本文本分类技术，无需领域专业知识或经验，仅需要类别标签和无标记数据，可显著提高性能，适用于各种文本分类任务。

    Oct, 2022

  • 基于语义相似性嵌入的零样本学习

    本研究使用混合模型解决无类别学习问题，通过学习相似度函数来映射源数据和目标数据到同一语义空间中，并在交叉验证的过程中联合优化参数，该方法在零样本识别的基准测试数据集上达到了显著的精确度提高。

    Sep, 2015

  • ZeroBERTo：利用主题建模提高零样本文本分类能力

    本文提出了一种名为 ZeroBERTo 的新模型，利用无监督聚类方法在分类任务前获取压缩数据表示，其在长文本输入的性能和执行时间上都优于 XLM-R， F1 分数比 FolhaUOL 数据集上的 XLM-R 高约 12％。

    Jan, 2022

  • 解放已见类别：通过锚点生成和分类重构提升少样本和零样本文本分类

    我们提出了一个简单而有效的策略，通过利用大型预训练语言模型生成伪新样本并选择最具代表性的样本作为类别锚点，将多类分类任务转换为二元分类任务，并使用查询 - 锚点对的相似性进行预测，从而在少样本和零样本任务中充分利用有限的监督信号，实现模型从已知类别的限制中解放，能够在没有使用任何已知类别样本的情况下准确预测未知类别。

    May, 2024

  • 通过自监督微调进行零 - shot 文本分类

    本文提出基于自我监督学习的新范式，通过使用无标签数据来调整语言模型，从而解决零样本文本分类任务，我们通过探索自由文本的内在结构，提出了一种新的学习目标，称为第一句预测，以弥合无标签数据和文本分类任务之间的差距。经过调整模型以学习基于其余部分预测段落中的第一句的能力后，模型能够在看不见的任务上进行零 - shot 推理，例如主题分类和情感分析。实验结果表明，我们的模型在 10 个任务中有 7 个优于最先进的基线模型。

    May, 2023

  • 基于蕴含方法的零样本文本分类基准评估与数据集

    该论文提出用一个文本蕴涵公式来研究不同方面的零样本文本分类问题，并提供了统一的数据集、标准化的评估和最先进的基线模型。

    Aug, 2019