该研究提出了一种称为 UniDEC 的新型可端对端训练框架，该框架通过使用多类损失将双编码器和分类器一起以统一的方式进行训练，以探索极端多标签分类中的两个关键方面：(i) 双编码器训练通常仅使用单个正相关性，即使数据集提供更多；(ii) 现有方法仅集中于使用一对多的多标签问题减少。通过采用一种称为 Pick-Some-Label (PSL) 的新型多标签问题减少方法，所提出的框架在单个 GPU 上实现了最先进的结果，并在各种 XML 基准数据集上仅使用 4-16 倍的计算能力与多 GPU 最优方法相媲美，且在百万标签规模数据集上具有实际可扩展性。

May, 2024

我们提出了一种通过大型语言模型（LLM）的反馈来训练一个小型双编码器模型的框架，该双编码器模型将文档和标签编码为用于检索的嵌入向量。我们的方法利用 LLM 的零样本能力来评估标签与文档之间的相关性，而不是使用从文档本身提取的低质量标签。我们的方法在各种数据集上表现优于现有技术，同时对于大型数据集具有相似的训练时间，且能保证快速推断。

Jun, 2024

本文提出了一种使用预训练的 Transformer 编码器通过自监督对比损失学习实例和标签的语义嵌入的方法，即 MACLR，以解决极端多标签文本分类问题，包括 GZ-XMC、Extreme Zero-Shot XMC 和 Few-Shot XMC，在多个公共 EZ-XMC 数据集上实现了更好的性能。

Dec, 2021

本文提出了基于深度学习的 XML 方法，采用基于词向量的自注意力和基于排序的自编码器，不仅能处理特征和标签之间的依赖关系，同时也可以考虑标签之间的依赖关系，该方法在标准数据集上表现优异。

Apr, 2019

本文通过对双编码器进行多阶段训练，并在保持瓶颈嵌入大小不变的同时扩大了双编码器模型的规模，挑战了一种广为流传的观念，即双编码器在一个域上训练后，往往无法推广到其他域的检索任务中。结果表明，我们的双编码器模型 ——GTR，尤其是在域外泛化方面，取得了显著的检索性能提高，并且在 BEIR 数据集上明显优于现有的稀疏和密集的检索模型。最出乎意料的是，我们的消融研究发现，GTR 在数据效率方面非常高效，只需要 MS Marco 10％的监督数据即可实现最佳的跨域检索性能。

Dec, 2021

本文提出了通过使用 X-Transformer 对深度 transformer 模型进行微调，来解决极端多标签文本分类 (XMC) 问题。其在 Wiki 数据集上的表现达到了 77.28%，是现有技术中最好的结果。

May, 2019

本研究比较了四种多标签分类方法，其中两种基于编码器，两种基于编码器 - 解码器。结果表明，在多个数据集上使用编码器 - 解码器方法比仅编码器表现更好，其非自回归编码器 - 解码器方法获得了最优表现。

May, 2023

本研究通过替换图卷积网络为非图卷积网络的架构，利用图数据来规范编码器训练，提出了一种名为 RAMEN 的替代模型，以提高标签极度分类任务的性能，并在基准数据集上获得了高达 15% 的预测准确率提升，同时不增加推断计算成本。

Feb, 2024

提出了一种基于双编码器的框架，引入了变分自动编码器来增强对话交互，以提高问题回答（QA）系统中答案检索的效率，并且通过使用新的几何对齐机制（GAM）与交叉编码器对齐来显著提高了模型的性能。

Jun, 2022

该论文提出了一种名为 XR-Transformer 的新递归方法，以加速 transformer 模型在大标签空间上的微调过程，并在 3 百万标签的公共 Amazon-3M 数据集上取得了较快的训练速度，同时也提高了 Precision@1 从 51％提高到 54％，成为当今其他基于 transformer 的 XMC 模型的更好的最新结果之一。

Oct, 2021