Oct, 2023

标签感知的自动转述引擎用于少样本文本分类

PDF
TL;DR我们提出了标签感知的自动化表述 (LAAV) 方法，通过使用手动标签和联合词 “和” 来诱导模型生成更有效的词语，以在少样本分类任务中取得更好的结果。实验证明，与现有的表述方法相比，LAAV 在五个数据集和五种语言上显著优于其他表述方法，尤其在中低资源语言中。
prompt-based learningverbalizerfew-shot text classificationlabel-aware automatic verbalizermid-to-low resource languages
发现论文，激发创造
  • 使用无需映射的自动转述器增强基于提示的自我训练对多类别分类的提升

    最近，基于提示的微调作为少样本文本分类任务的核心技术引起了相当大的兴趣。本研究引入了一种名为 Mapping-free Automatic Verbalizer (MAV) 的新型高效词汇提取结构，利用 MLM 预测中的所有信息来自动提取分类所需的单词特征，并在五个多类别分类数据集上的实验结果表明了 MAV 的自我训练效果的优越性。

    Dec, 2023

  • 基于提示的少样本文本分类的进化语言生成搜索

    本文提出了一种新的进化式口头表述搜索算法用于构建最优的口头表述器，在少量数据情况下使用预训练的语言模型以及任务特定提示能够极大地提高准确性，进一步推进了小样本文本分类的研究。

    Jun, 2023

  • PVLR：基于提示的视觉语言表示学习用于多标签图像识别

    在这篇论文中，我们提出了一种 Prompt-driven Visual-Linguistic Representation Learning（PVLR）框架，通过双提示策略和交互融合模块，更好地利用了语言模型的能力，以提高多标签图像识别的性能。实验证明了 PVLR 的卓越性能。

    Jan, 2024

  • 自动识别可用作少样本文本分类标签的单词

    本文提出一种自动标签到单词映射的方法，通过少量的训练数据，为 few-shot 文本分类任务的处理提供了更高效的方法。

    Oct, 2020

  • LLMaAA：构建大型语言模型用于主动标注

    通过使用大型语言模型作为注释者，并将其放入主动学习循环中，我们提出了 LLMaAA 方法，充分发挥大型语言模型的潜力并有效利用大量无标签数据，提高效率和可靠性，并且在命名实体识别和关系抽取等自然语言处理任务上取得了超过其他基线方法的更高性能。

    Oct, 2023

  • 语言感知的视觉与语言基础模型软提示

    本文介绍了一种软提示学习的方法，用于 Vision & Language 模型。该方法通过使用第二交叉熵损失来最小化学习的软提示与手工工程提示之间的距离，进而提高模型性能，并能够训练虚拟类。在 11 个数据集上进行的广泛评估表明，该方法显著优于所有先前的软提示工作，并在大多数测试数据集上匹配和超越手工制作提示和 CLIP 的新类准确性。

    Oct, 2022

  • 大型语言模型中利用标签变异进行零样本文本分类

    使用 5 种最先进的大型语言模型（LLMs）作为 “标注者” 在多个任务上进行评估，并比较其与人类标注的优缺点。总体而言，尽管 LLMs 在某些任务上表现出色，但它们无法替代人类标注的需求。

    Jul, 2023

  • 视觉语言辅助属性学习

    本文提出了一种利用可用的视觉 - 语言知识来改进模型学习的方法，通过一个现成的视觉 - 语言模型辅助，预测每个缺失的属性标签的可能性，在训练中选择忽略那些得分较高的标签，该方法在对新整理的 VAW 数据集上实现了最先进的性能，定性评估证明了该方法在预测更完整属性方面的能力。

    Dec, 2023

  • 一种新颖的示例调整方法：将特定场景概念融入到语言化生成模型中

    我们提出了一种新颖的方法来构建标签器，该方法通过从任务特定的场景中提取丰富的概念作为标签词候选者，并开发了一种新颖的级联校准模块来将候选词精炼为每个类的标签词集合，在零样本文本分类的广泛实验中，我们的方法表现优于现有方法，并取得了最新的结果。

    Jan, 2024

  • 自动多标签提示：简单且可解释的少样本分类

    本研究提出了 AMuLaP 方法，利用一对多标签映射和基于统计的算法自动选择少样本文本分类的标签映射，并在 GLUE 基准测试上展示出竞争性能。

    Apr, 2022