Jun, 2024

利用大型语言模型从大规模输出空间中提取间接知识的零 - shot 学习

PDF
TL;DR我们提出了一种通过大型语言模型（LLM）的反馈来训练一个小型双编码器模型的框架，该双编码器模型将文档和标签编码为用于检索的嵌入向量。我们的方法利用 LLM 的零样本能力来评估标签与文档之间的相关性，而不是使用从文档本身提取的低质量标签。我们的方法在各种数据集上表现优于现有技术，同时对于大型数据集具有相似的训练时间，且能保证快速推断。
extreme multi-label learningextreme zero-shot xmcbi-encoder modellarge language modelfast inference
发现论文，激发创造
  • 极限零样本学习在极端文本分类中的应用

    本文提出了一种使用预训练的 Transformer 编码器通过自监督对比损失学习实例和标签的语义嵌入的方法，即 MACLR，以解决极端多标签文本分类问题，包括 GZ-XMC、Extreme Zero-Shot XMC 和 Few-Shot XMC，在多个公共 EZ-XMC 数据集上实现了更好的性能。

    Dec, 2021

  • ICXML: 零样本极度多标签分类的上下文学习框架

    本文研究极端多标记分类（XMC）任务，提出了一种使用上下文学习方法的 In-Context Extreme Multilabel Learning（ICXML）框架，通过生成候选标签集并对其进行排名，进一步提升了 XMC 领域的研究进展。

    Nov, 2023

  • 生成模型实现开放词汇极端分类

    本文提出了一种针对开放词汇的极端多标签分类（OXMC）任务的序列到序列模型 ——GROOV，该模型可预测给定语料库之外的标签，且在预测已知标签时与现有最先进解决方案表现相当。

    May, 2022

  • 双编码器在极端多标签分类中的效果

    通过研究表明，经过正确训练的标准双编码器模型在极限多标签分类问题中可以匹配或超越状态 - of-the-art 极限分类方法在 Precision@1 方面的性能，并且在可训练参数的数量上小 20 倍。

    Oct, 2023

  • 极端多标记分类中的聚类引导标签生成

    本文提出了一种用于极端多标签分类的标签生成方法，该方法利用预训练的文本生成模型，通过标签聚类信息对标签进行层次生成。该方法在四个常见的极端多标签分类基准测试中表现出色，尤其在影响较小的标签上表现更佳。此外，该方法生成的标签不仅实用，而且还具有未知类别的高可信度。

    Feb, 2023

  • 使用预训练变压器进行极端多标签文本分类

    本文提出了通过使用 X-Transformer 对深度 transformer 模型进行微调，来解决极端多标签文本分类 (XMC) 问题。其在 Wiki 数据集上的表现达到了 77.28%，是现有技术中最好的结果。

    May, 2019

  • 来自聚合标签的极端多标记分类

    我们开发了一种新的可扩展算法，用于从组标签中填充单个样本标签，并提供了一个新的端对端框架作为扩展，解决多示例多标签问题，在聚合标签的 XMC 和 MIML 任务上的实验表明了对现有方法的优势。

    Apr, 2020

  • MatchXML：一种高效的文本标签匹配框架用于极端多标签文本分类

    通过提出 MatchXML 框架，我们在 eXtreme Multi-label text Classification 领域取得了 state-of-the-art 的准确率和速度，其中关键技术包括 label embeddings、Hierarchical Label Tree 和 linear ranker。

    Aug, 2023

  • 极度多标签文本分类的快速多分辨率 Transformer 微调

    该论文提出了一种名为 XR-Transformer 的新递归方法，以加速 transformer 模型在大标签空间上的微调过程，并在 3 百万标签的公共 Amazon-3M 数据集上取得了较快的训练速度，同时也提高了 Precision@1 从 51％提高到 54％，成为当今其他基于 transformer 的 XMC 模型的更好的最新结果之一。

    Oct, 2021

  • SemSup-XC: 用于零和少样本极端分类的语义监督

    本研究开发了 SemSup-XC 模型，利用混合匹配模块将输入实例与语义类别描述相匹配，通过对比学习，实现了在三个 XC 数据集上对零样本和少样本的最新成果，得分提升了 12 个精度点以上。

    Jan, 2023