极端多标签分类中长尾性能的广义测试工具

Nov, 2023

极端多标签分类中长尾性能的广义测试工具

Generalized test utilities for long-tail performance in extreme multi-label classification

Erik Schultheis, Marek Wydmuch, Wojciech Kotłowski, Rohit Babbar, Krzysztof Dembczyński

TL;DR在极端多标签分类中，通过对大量可能标签中选择一小部分相关标签来解决长尾标签问题，采用了预算 “在 k” 的广义度量方法并利用块协调上升算法，取得了在长尾性能方面有希望的结果。

Abstract

extreme multi-label classification (XMLC) is the task of selecting a small subset of relevant labels from a very large set of possible labels. As such, it is characterized by long-tail labels, i.e., most labels h

extreme multi-label classification long-tail labels propensity-scored metrics expected test utility framework block coordinate ascent

发现论文，激发创造

倾向分数概率标签树

本研究提出一种基于 A * 搜索算法的推断过程，能够有效地解决了在极端多标签分类模型中标签分布不均、稀疏、缺失等问题，从而优化了分类预测效果。

Oct, 2021

无后悔泛化的分层 softmax 算法在极端多标签分类中的应用

本文中，我们探究了处理极端多标记分类问题的概率标记树（PLTs），并通过实现 extremeText（XT）来证明 PLTs 在 precision@k 指标下是一个 HSM 的无遗憾多标签泛化。同时，我们证明了 pick-one-label 启发式算法在一般情况下不是一致的，我们的实现方法比使用 pick-one-label 的 HSM 和专门为 XMLC 问题设计的神经网络 XML-CNN 得到的结果更好。此外，XT 在统计性能、模型大小和预测时间等方面与许多最先进的方法相当，适合部署在在线系统中。

Oct, 2018

极端多标记分类的概率标记树

本研究详细研究了概率标签树 (PLTs) 作为多标记问题中的分层 softmax 的一般化方法，考虑了在线学习的问题，证明了他们的相容性，提出了一种新的 PLTs 实现，并通过实验证明了它的有效性。

Sep, 2020

极端多标签分类中的缺失标签、长尾和倾向性问题

本文对 Jain 等人在 2016 年提出的倾向模型在多标签分类中的应用进行了批判性修订，并提出了几种替代方案，以解决现代多标签分类工作中倾向基础方法的缺陷。

Jul, 2022

对抗性极端多标签分类

本文探讨了在存在对抗扰动的情况下的极端分类中的学习任务，并提出了一种鲁棒优化框架和相应的正则化目标，发现 Hamming 损失可作为尾标签检测的有效方法。通过结合正则化目标和基于 Proximal 梯度的优化方法，相对于 PFastreXML 和 SLEEC 等现有方法在 precision@k 和 nDCG@k 上提供了优异的性能。同时，我们还研究了标签图的谱特性，提供了新的洞察力以了解 Hamming 损失的一对多方法和标签嵌入方法之间性能的条件限制。

Mar, 2018

基于排序的自编码器极端多标签分类

本文提出了基于深度学习的 XML 方法，采用基于词向量的自注意力和基于排序的自编码器，不仅能处理特征和标签之间的依赖关系，同时也可以考虑标签之间的依赖关系，该方法在标准数据集上表现优异。

Apr, 2019

多标签分类中基于宏 $K$ 指标的一致算法

在多标签分类的人口效用框架下，我们考虑复杂性能度量的优化问题。我们主要关注一种指标，它线性可分解为对每个标签分别应用的二分类效用的总和，并对每个实例预测出恰好 k 个标签。这些 “宏 - at-$k$” 指标在具有长尾标签的极端分类问题中具有理想的性质。遗憾的是，at-$k$ 约束将原本相互独立的二分类任务耦合起来，导致优化问题比标准的宏平均更具挑战性。我们提供了一个统计框架来研究这个问题，证明了最优分类器的存在和形式，并基于 Frank-Wolfe 方法提出了一个统计一致且实用的学习算法。有趣的是，我们的主要结果还涉及非线性函数的更一般度量，这些函数是标签混淆矩阵的函数。实证结果证明了所提方法的竞争性能。

Jan, 2024

极端多标记分类中的聚类引导标签生成

本文提出了一种用于极端多标签分类的标签生成方法，该方法利用预训练的文本生成模型，通过标签聚类信息对标签进行层次生成。该方法在四个常见的极端多标签分类基准测试中表现出色，尤其在影响较小的标签上表现更佳。此外，该方法生成的标签不仅实用，而且还具有未知类别的高可信度。

Feb, 2023

来自聚合标签的极端多标记分类

我们开发了一种新的可扩展算法，用于从组标签中填充单个样本标签，并提供了一个新的端对端框架作为扩展，解决多示例多标签问题，在聚合标签的 XMC 和 MIML 任务上的实验表明了对现有方法的优势。

Apr, 2020

ICXML: 零样本极度多标签分类的上下文学习框架

本文研究极端多标记分类（XMC）任务，提出了一种使用上下文学习方法的 In-Context Extreme Multilabel Learning（ICXML）框架，通过生成候选标签集并对其进行排名，进一步提升了 XMC 领域的研究进展。

Nov, 2023