ACLOct, 2022

ConEntail：基于蕴涵的框架，利用监督对比预训练进行通用零和少样本分类

PDF
TL;DR提出了一种基于超级对比学习预处理的新框架 ConEntail，它使用统一的元任务进行分类，该任务基于嵌套蕴含。实验结果表明，该框架可以有效地利用现有的注释数据，在零和少量样本情况下始终优于基线 (分别达到 9.4% 和 3.5% 的平均改进)。
universal classificationzero shotfew shotsupervised contrastive pretrainingnested entailment
发现论文，激发创造
  • 偏执是强健的自学习者

    本研究设计了一种提示策略，将多个 NLU 任务作为上下文蕴含进行推断，并提出了简单伪标签编辑算法（SimPLE）以提高自我训练的伪标签质量，在二分类和多分类分类任务上进行的实验表明，自我训练蕴含模型在语言理解任务上比大型语言模型更有效和可信。

    May, 2023

  • 有限标注的通用自然语言处理：以少样本文本蕴含为起点

    本文探讨如何通过 Few-shot 学习和文本蕴含来实现通用的 NLP 任务解决方案，并且说明文本蕴含可以应用于多种 Downstream NLP 任务，用于解决数据稀缺的情况。

    Oct, 2020

  • 严格零样本分层分类的简单有效框架

    提出一种用于处理层级数据集的指示性长尾预测任务的方法，并结合蕴含 - 矛盾预测来解决大语言模型在零样本设置下容易失败的局限性。

    May, 2023

  • 基于少样本学习的蕴涵推理

    本研究提出了一种名为 EFL 的新方法，将潜在的自然语言处理任务重新表述为蕴含任务，并在少至 8 个样例的情况下微调模型，进而证明该方法可以自然地与无监督对比学习数据增强方法相结合，易于扩展为多语言少样本学习，并在 18 个标准 NLP 任务上进行了系统评估，表明该方法将现有 SOTA 少样本学习方法的性能提高了 12％，在相同数据量下，可以达到与 GPT-3 相近的少样本性能

    Apr, 2021

  • 有效的零样本和小样本关系抽取的标签表达和蕴涵

    通过转换为推论任务并且使用预训练的文本推论引擎，我们能够减少标注大量实例所需的成本，实验结果表明，我们的方法在少量示例情况下可达到更好的性能。

    Sep, 2021

  • 通过多模态蕴含修订图像 - 文本检索

    本论文提出了一种多模态蕴含分类器来确定图像的语句，以及开发了一种通用可调节学习速率策略来教授一个检索模型区分这些蕴含的语句和其他负样本。在实验中，我们手动注释了一个蕴含更正的图像文本检索数据集用于评估。结果表明，所提出的蕴含分类器达到了约 78% 的准确度，并持续提高了图像文本检索基线的性能。

    Aug, 2022

  • 零样本文本分类的标签无关预训练

    本文旨在探究利用两种新的有效的预训练策略（Implicit 和 Explicit pre-training）来改善 PLMs 在不同方面与领域的数据上泛化能力，特别是在零样本情况下进行文本分类的任务。作者通过引入 UTCD 数据集进行评估，证明了该方法在一系列零样本范式的挑战数据集上实现了更好的泛化能力。

    May, 2023

  • SemSup：用于简单和可扩展零 - shot 泛化的语义监督

    SemSup 使用可扩展的多描述采样方法，使用易于生成和在某些设置上优于文本的 JSON 等替代描述格式，以及混合词汇语义相似度来利用类别描述中的细粒度信息，从而提高了未见过的新类别泛化的准确性。

    Feb, 2022

  • 低资源自然语言处理遇上无监督语言模型：元预训练再元学习用于少样本文本分类

    使用元学习和无监督语言模型解决数据不足或需要适应未知分类的文本分类难题，并在情感分类数据集上表现出最先进的性能，因此预训练可能是更多 NLP 任务的少样本学习的有前途的解决方案。

    Aug, 2019

  • 双重对比一致性的小样本文本分类

    本文研究了如何使用预训练的语言模型进行少样本文本分类，提出了一种基于有限标注数据的监督对比学习和大量无标注数据的一致性约束方法，并且提出一种新的对比一致性来改善模型性能。在四个数据集上的实验证明，我们的模型 (FTCC) 可以胜过现有的最佳方法并且具有更好的鲁棒性。

    Sep, 2022