Mar, 2021

基于 Transformer 的零样本序列标注句子分类器

PDF
TL;DR本文研究了如何将句子级 transformer 修改为在没有任何直接监督的情况下有效的序列标记，我们发现一个软性注意模块可以明显优于现有方法，使得能够更好地在标记级别提高性能。
发现论文，激发创造
  • 零样本序列标注：从句子向标记传递知识

    本论文通过构建基于软注意力机制的神经网络架构，分别在四个不同数据集上训练和测试，探究使用注意力或梯度可视化技术能否用于推断二元序列标记问题中的单词级标记，并得出结论：相比梯度 - based 方法，基于注意力的方法能够更准确地预测单词级标记。

    May, 2018

  • 使用句子转换器进行零样本文本匹配的自动审计

    本文探讨了使用基于 transformer 的 Sentence-Bert 模型进行无监督文本匹配的效率，结果表明该模型对于金融领域内外的文本均有很好的鲁棒性。

    Oct, 2022

  • 自训练的零样本文本分类

    本文提出一种基于自训练方法的插入式零样本文本分类技术，无需领域专业知识或经验，仅需要类别标签和无标记数据，可显著提高性能，适用于各种文本分类任务。

    Oct, 2022

  • 零样本文本到图像生成

    本文介绍了一种基于 transformer 的 autoregressive 的文本 - 图像生成方法，其与以往的一些领域特定模型相比，具有更好的尺度和零样本表现。

    Feb, 2021

  • Train Once, Test Anywhere: 零样本学习用于文本分类

    提出了使用零样本学习的方法在大语料库上训练模型来学习语句和其标签之间的关系，以实现模型对未知语句和标签的预测，并报告在三个不同数据集上的实验结果，该方法是自然语言处理中通向智能化的一步。

    Dec, 2017

  • 零样本学习的联合意图和槽位标记

    通过零样本学习的方法，实现了目的性对话系统中的意向分类和槽位标注任务。研究表明，将意向和槽位之间的依赖关系建模，以及通过神经网络将单词和句子转换成嵌入空间，是提高任务准确性的关键因素。

    Nov, 2022

  • ZeroBERTo：利用主题建模提高零样本文本分类能力

    本文提出了一种名为 ZeroBERTo 的新模型，利用无监督聚类方法在分类任务前获取压缩数据表示，其在长文本输入的性能和执行时间上都优于 XLM-R， F1 分数比 FolhaUOL 数据集上的 XLM-R 高约 12％。

    Jan, 2022

  • 使用句子编码器进行零样本多标签主题推理

    利用句子编码器进行零样本主题推断任务时，Sentence-BERT 表现出与其他编码器相比的优越性能，而在效率是首要考虑因素时，通用句子编码器是首选；这一结论得到了对七个不同数据集的广泛实验的支持。

    Apr, 2023

  • 通过自监督微调进行零 - shot 文本分类

    本文提出基于自我监督学习的新范式，通过使用无标签数据来调整语言模型，从而解决零样本文本分类任务，我们通过探索自由文本的内在结构，提出了一种新的学习目标，称为第一句预测，以弥合无标签数据和文本分类任务之间的差距。经过调整模型以学习基于其余部分预测段落中的第一句的能力后，模型能够在看不见的任务上进行零 - shot 推理，例如主题分类和情感分析。实验结果表明，我们的模型在 10 个任务中有 7 个优于最先进的基线模型。

    May, 2023

  • VQA 模型中的注意力模式零 - shot 翻译为自然语言

    ZS-A2T 是一个零射击框架，将给定模型的转换器注意力转换为自然语言而无需任何训练，以可理解形式提供关于该模型的见解。它在视觉问答（VQA）的上下文中构建在预训练的大型语言模型上，并通过利用 VQA 模型的文本 - 图像匹配能力来确定其相似性，从而实现了无需训练并能够替换不同引导来源（例如属性而非注意力矩阵）或语言模型的框架。在 VQA 的文本解释数据集上进行了评估，并在 GQA-REX 和 VQA-X 的零射击设置中达到了最先进的性能。

    Nov, 2023