Oct, 2022

BERT-Flow-VAE：面向多标签文本分类的弱监督模型

HTML
PDF
TL;DR本文提出了一种名为BERT-Flow-VAE(BFV)的弱监督多标签文本分类(WSMLTC)模型，通过使用种子主题模型和文本蕴含模型等方法，生成初步的主题-文档矩阵，并采用VAE框架重构嵌入，从而实现对全面标注数据需求的降低，实验结果表明，BFV可显著超越其他基准WSMLTC模型，在准确率等关键指标上达到全监督模型的84%的性能水平。
发现论文，激发创造
  • 文本分类的多任务标签嵌入

    本文提出了Multi-Task Label Embedding模型，将文本分类中的标签转换为语义向量，从而将原始任务转化为向量匹配任务，利用任务间的语义相关性进行多任务学习，有效提升相关任务的性能。

    Oct, 2017

  • GILE: 通用输入标签嵌入用于文本分类

    本文提出了一种新的输入-标签模型，该模型利用标签语义和非线性输入标签嵌入来实现更好的文本分类性能，并通过跨语言和零资源的多语种文本分类实验证明了该模型的优越性。

    Jun, 2018

  • 基于语义单元的膨胀卷积用于多标签文本分类

    该研究提出了一种基于序列到序列学习的多标签文本分类模型，其使用了多级膨胀卷积和相应的混合注意机制来生成更高级的语义单元表示，并且有效地减少了维度和支持了接收域的指数级扩展。实验结果表明，该模型在数据集RCV1-V2和Ren-CECps上具有显著优势，并且分析表明该模型与确定性分层模型相当，同时更具有对低频标签进行分类的鲁棒性。

    Aug, 2018

  • 大规模多标签文本分类的实证研究，包括少量和零样本标签

    本研究在多个数据集上评估了多种Large-scale Multi-label Text Classification方法，发现基于概率标签树的层次分类方法优于Label-Wise Attention Networks。另外，结合Transformer的方法在两个数据集上实现了优秀的性能，同时提出了一种新的最先进的方法，将BERT与LWANs相结合。此外，还引入了图形感知注释接近度度量，提出了利用标签层次结构来改进少量和零-shot学习的新模型。

    Oct, 2020

  • BERT的分层引导训练：渐进式细化文档表示的学习

    该研究针对BERT内部机制进行研究，提出一种结构性的微调方法，专注于大规模多标签文本分类中，使用预定的层次标签集合，通过引导BERT特定层级来预测标签，以提高分类效果和参数利用率。

    Oct, 2020

  • 一种基于句子级分层BERT模型的有限标记数据文档分类方法

    本研究说明了一种基于层次BERT模型（HBM）的长文本分类方法，其可以在有限的标记实例数量下实现比现有技术更高的性能，并且可以被用来作为长文本解释的有用工具。

    Jun, 2021

  • 使用句子编码器进行零样本多标签主题推理

    利用句子编码器进行零样本主题推断任务时，Sentence-BERT表现出与其他编码器相比的优越性能，而在效率是首要考虑因素时，通用句子编码器是首选；这一结论得到了对七个不同数据集的广泛实验的支持。

    Apr, 2023

  • 多标签文本分类中用平衡更新和集体损失替代数据注释

    通过使用预训练语言模型，在低监督情况下有效提高多标签文本分类性能的方法。

    Sep, 2023

  • 利用基于BERT的模型推动跨学科研究：通过SciBERT-CNN与主题建模的方法

    该论文介绍了一种使用SciBERT模型和CNN的新方法，通过处理摘要、正文、标题和关键词等多个部分，以解决多标签文本分类中的语义关系和类别不平衡问题，并在文献综述效率方面取得显著改进。

    Apr, 2024

  • 开放式多标签文本分类与极弱监督

    我们研究了极度弱监督下的开放世界多标签文本分类，通过用户提供简要描述而没有任何标签或标签空间。我们将用户描述用于大型语言模型(LLM)以查找原始文档的主导关键短语，并构建初始标签空间进行聚类。我们进一步应用零样本多标签分类器定位得分较低的文档，并迭代这一过程以发现全面的标签空间并构建一个新的多标签分类器，即X-MLClass。X-MLClass在各种数据集上取得了显著增加的标签空间覆盖率，例如，在AAPD数据集上比主题建模和关键词提取方法提高了40%，并且实现了最佳的端到端多标签分类精度。

    Jul, 2024