Dec, 2022

使用句子编码进行文本相似度比较的零样本分类技术 TeSS

PDF
TL;DRTeSS（使用句子编码器的文本相似性比较）是一种零样本分类的框架，通过输入文本和每个候选标签提示之间的嵌入相似性来确定分配的标签。我们利用预训练期间优化定位语义相似样本在嵌入空间中更靠近彼此的句子编码器的表示。标签提示嵌入作为其对应类别集群的原型。与原始标签可能存在描述不当的情况不同，我们从外部语料库中检索语义相似的句子，并将它们与原始标签提示一起使用（TeSS-R）。TeSS 在各种闭集和开集分类数据集的零样本设置下表现出色，当与标签提示多样化通过检索结合时，进一步获得收益。这些结果对叙述者变化敏感，这是使用双编码器的一个附加好处。总之，我们的方法可作为零样本分类的可靠基线和评估句子编码器质量的简单界面。
zero-shot classificationsentence encoderlabel promptsemantic similarityclassification dataset
发现论文，激发创造
  • PESCO：零 - shot 文本分类的增强自对比学习

    本研究提出了一种名为 PESCO 的对比学习框架，将文本分类问题中的每个文档作为查询，通过添加提示和使用检索标签的自训练循环来学习从查询到相关类别标签的映射，从而显著提高了零样本文本分类的性能，并在四个基准文本分类数据集上取得了最新成果。

    May, 2023

  • 评估无监督文本分类：零样本和基于相似度的方法

    本文对不同的基于相似性和零样本方法进行了系统评估，对四个文本分类数据集进行了基准测试，包括来自医疗领域的新数据集。此外，提出了新的 SimCSE 和 SBERT 基线，其中使用 SimCSE 或 SBERT 嵌入而不是简单的文本表示进一步增强了基于相似性的分类结果。在无监督文本分类方面，提出了新的基于相似性的 Lbl2TransformerVec 方法，其性能优于先前的最先进方法。我们的实验表明，大多数情况下，基于相似性的方法显着优于零样本方法。

    Nov, 2022

  • 使用句子转换器进行零样本文本匹配的自动审计

    本文探讨了使用基于 transformer 的 Sentence-Bert 模型进行无监督文本匹配的效率，结果表明该模型对于金融领域内外的文本均有很好的鲁棒性。

    Oct, 2022

  • 使用句子编码器进行零样本多标签主题推理

    利用句子编码器进行零样本主题推断任务时，Sentence-BERT 表现出与其他编码器相比的优越性能，而在效率是首要考虑因素时，通用句子编码器是首选；这一结论得到了对七个不同数据集的广泛实验的支持。

    Apr, 2023

  • Prompt-and-Rerank: 小语言模型的零 / 少样式转换方法

    论文提出了 Prompt-and-Rerank 方法，利用预训练语言模型实现任意文本风格转换，并在七个不同的数据集上进行了实证研究，探究模型大小和提示设计对风格转移质量的影响。

    May, 2022

  • 通过自监督微调进行零 - shot 文本分类

    本文提出基于自我监督学习的新范式，通过使用无标签数据来调整语言模型，从而解决零样本文本分类任务，我们通过探索自由文本的内在结构，提出了一种新的学习目标，称为第一句预测，以弥合无标签数据和文本分类任务之间的差距。经过调整模型以学习基于其余部分预测段落中的第一句的能力后，模型能够在看不见的任务上进行零 - shot 推理，例如主题分类和情感分析。实验结果表明，我们的模型在 10 个任务中有 7 个优于最先进的基线模型。

    May, 2023

  • 无监督语义文本相似性的句子元嵌入

    本文介绍了如何通过将不同的预训练句子编码器组合成句子元嵌入来解决无监督的语义文本相似性（STS）任务，我们在句子级别应用、扩展和评估了来自单词嵌入文献的不同元嵌入方法，并在 STS 基准测试和 STS12-STS16 数据集上设置了新的无监督状态，平均提高了 3.7% 至 6.4% Pearson 的 r 值。

    Nov, 2019

  • 从对话学习语义文本相似度

    本论文通过学习使用对话数据学习句子级语义相似性的新方法，利用无监督模型预测对话输入响应对以训练，导出的句子嵌入在语义文本相似性基准测试和 SemEval 2017 的 CQA 问题相似性子任务上表现良好。通过介绍同时进行对话输入响应预测任务和自然语言推理任务的多任务训练来进一步改善性能。广泛的实验显示，所提出的模型在 STS 基准测试中达到了所有神经模型中最佳性能，并且在两个任务中的工程特征和混合系统方面与最先进的混合系统竞争。

    Apr, 2018

  • 基于语义相似性嵌入的零样本学习

    本研究使用混合模型解决无类别学习问题，通过学习相似度函数来映射源数据和目标数据到同一语义空间中，并在交叉验证的过程中联合优化参数，该方法在零样本识别的基准测试数据集上达到了显著的精确度提高。

    Sep, 2015

  • PromptBERT: 利用提示提高 BERT 句子嵌入

    本文提出了一种新的对比学习方法 PromptBERT，用于改进句子表示的效果，在分析当前 BERT 句子嵌入的缺陷后，通过两种提示表示方法和三种提示搜索方法实现更好的句子嵌入，同时通过模板去噪技术，提出了一种新的无监督训练目标，大大缩短了有监督和无监督设置之间的性能差距，实验证明了方法的有效性。

    Jan, 2022