基于上下文的极端多标签分类学习

Jan, 2024

基于上下文的极端多标签分类学习

In-Context Learning for Extreme Multi-Label Classification

Karel D'Oosterlinck, Omar Khattab, François Remy, Thomas Demeester, Chris Develder...

TL;DR多标签分类问题使用语言模型单独进行上下文学习难以解决，本文提出了一种 Infer-Retrieve-Rank 框架，通过多步交互优化语言模型和检索模型来高效处理此类问题。

Abstract

multi-label classification problems with thousands of classes are hard to solve with in-context learning alone, as language models (LMs) might lack prior knowledge about the precise classes or how to assign them,

multi-label classification language models infer-retrieve-rank few-shot examples extreme classification

发现论文，激发创造

多标签文本分类的上下文学习

利用预训练的密集检索模型，我们在有限样本设置中的常见意图分类数据集上，以及特定情况下的细粒度情感分类中，优于微调性能。通过多个实验，我们分析了模型对于上下文示例和不同模型规模的利用情况，并展示了在不同领域中需要不同程度上下文示例的相似性、类名的语义内容和示例与标签之间的正确对应。

Sep, 2023

大语言模型中上下文案例检索学习

本文提出了一种新的框架，通过训练密集检索器来识别高质量的上下文示例，进而提高大型语言模型（LLMs）的上下文学习表现。实验证明了该框架可以显著地提高在各种任务上的性能，而且具有良好的泛化能力。

Jul, 2023

学习检索上下文学习提示

本文提出了一种有效的方法，利用标注数据和语言模型（LM）检索 in-context learning 的提示，训练稠密的检索器并在三个序列到序列任务中发现它明显优于之前的工作和多个基线。

Dec, 2021

具有大型语言模型的语境中感知歧义学习

通过对三个文本分类任务的广泛实验，我们发现在选择演示示例时，不仅选择语义上相似的演示示例有益，还选择那些有助于解决测试示例周围固有标签模糊性的演示示例。有趣的是，我们发现包括之前被 LLM 错误分类并且与测试示例的决策边界相近的演示示例能够带来最大的性能提升。

Sep, 2023

基于语言模型检索的多语言少样本学习

本文在多语言和交叉语言设置下，通过全面研究检索语义相似的少样本示例的方法来提升 Transformer 模型在自然语言理解任务中的性能。结果表明该方法在英语以外的单语言和交叉语言任务中均优于随机抽样。

Jun, 2023

在上下文中进行探究：通过对大型语言模型进行探查以构建强大的分类器

本文介绍了一种名为 'in-context probing' 的方法，能够更好地提高大型语言模型在分类任务中的鲁棒性，并证明了这种方法在与提供的指令变化较大时更具可靠性。

May, 2023

EXnet：无数据文本分类的高效上下文学习

本文介绍 EXnet 模型，以进行上下文学习，通过提供例子来促进跨任务泛化，特别是针对文本分类任务。

May, 2023

利用答案反馈增强多段落问答的上下文学习

本文提出了一种新的提示策略，通过使用带有反馈的演示示例来提高大型语言模型（LLM）的上下文学习性能，该策略在三个多跨度问题回答数据集以及一个关键字提取数据集上进行实验证明了其一致的性能提高。

Jun, 2023

局部差分私有化上下文学习

基于预训练语言模型和隐私保护的局部差分隐私框架中的语境学习（ICL）的分析研究

May, 2024

ICXML: 零样本极度多标签分类的上下文学习框架

本文研究极端多标记分类（XMC）任务，提出了一种使用上下文学习方法的 In-Context Extreme Multilabel Learning（ICXML）框架，通过生成候选标签集并对其进行排名，进一步提升了 XMC 领域的研究进展。

Nov, 2023