ACLApr, 2022

面向少样本文本分类的标签语义感知预训练

PDF
TL;DR提出了一种标签语义感知预训练（LSAP）方法，该方法将标签语义信息融入预训练生成模型中，并通过有标签的来自不同领域的句子的次预训练进行，从而提高了文本分类系统的泛化性能和数据效率，在 ATIS、Snips、TOPv2、AG News 和 Yahoo! Answers 几项任务中展现出显著的性能提升，尤其对于少样本学习的情况表现出色。
pre-trainingtext classificationlabel semanticslsapfew-shot
发现论文，激发创造
  • 概念预训练下的低资源组合语义分析

    本文提出的基于 seq2seq 的模型结构，可以在零样本或少量样本的情况下，通过对新领域的元数据进行编码，自动实现领域自适应的语义解析，并通过在 Wikidata 上预训练以增强概念感知能力，从而在 TOPv2 和 SNIPS 数据集上优于以前的研究成果。

    Jan, 2023

  • 零样本文本分类的标签无关预训练

    本文旨在探究利用两种新的有效的预训练策略（Implicit 和 Explicit pre-training）来改善 PLMs 在不同方面与领域的数据上泛化能力，特别是在零样本情况下进行文本分类的任务。作者通过引入 UTCD 数据集进行评估，证明了该方法在一系列零样本范式的挑战数据集上实现了更好的泛化能力。

    May, 2023

  • 稀疏注意力神经网络联合训练的序列标记和分类

    提出一种利用 LSTM 网络同时学习句子级别分类任务和序列标注任务的模型，通过语义相关性对单词进行加权的稀疏注意力机制，该方法在 ATIS 和 TREC 数据集上表现优于基准模型。

    Sep, 2017

  • 面向情感分析的词语和句子级情感感知预训练

    本文提出了一种新的基于情感的预训练语言模型 SentiWSP，结合了单词级别和句子级别的预训练任务，通过基于生成对抗网络的替换情感单词检测和对比学习的方法，使得该模型在情感分析任务中达到了最新的最佳性能表现。

    Oct, 2022

  • SemVLP: 多层次语义对齐的视觉语言预训练

    本文提出 SemVLP 预训练方法，通过单流预训练和双流预训练相结合，使用共享 Transformer 网络和可插入的跨模态注意模块，在不同的语义层次上对图像和文本进行联合对齐，以对齐跨模态表示，实验表明该方法可对齐不同语义粒度。

    Mar, 2021

  • LST: 基于词典引导的自训练在小样本文本分类中的应用

    本文介绍了一种使用词汇表来指导伪标记机制的简单的自训练方法，即 LST。通过使用语言丰富的方式，我们不断优化词汇表来预测未见数据的置信度，从而更好地教授伪标签，实现了 5 个基准数据集每个类别 30 个标注样本的 1.0-2.0％的性能提高。

    Feb, 2022

  • 自适应自我训练用于小样本神经序列标注

    该研究提出了通过自训练和元学习技术解决多个自然语言处理任务中低标注数据带来的挑战的方法，并在六个基准数据集上实验证明了其在标注数据较少的情况下具有良好的效果。

    Oct, 2020

  • CLASP：用于语义解析的少样本跨语言数据增强

    本研究提出 CLASP 方法，利用合成数据从 AlexaTM 20B 中挖掘出更多的数据，用以改善低资源的语义解析，实现在多国语言上的有效应用。

    Oct, 2022

  • 基于任务无关本体和简单标签的零样本帧语义解析

    本文介绍了 OpenFSP 框架，它可以以少量简单的标签为基础，实现对话系统中领域分类与语义解析的任务，并获得了在 TopV2 数据集上的显著表现。

    May, 2023

  • 将语义引入语音编码器

    本文提出了一种无监督的任务无关方法，将大型语言模型中的语义信息融合进入自监督语音编码器，提高了其在意图分类，名称实体识别及槽填充等方面的性能，使其达到了有监督方法同等的效果，为已有的语音编码器的无监督实现提供了可行性证明。

    Nov, 2022