Oct, 2023

Text2Topic：多标签文本分类系统，用于高效地检测用户生成内容中的主题，具备零射能力

PDF
TL;DR通过使用 Bi-Encoder Transformer 架构，我们提出了 Text2Topic，它在文本主题的高精度多标签分类方面取得了较高的性能，同时支持零样本预测，并通过实时处理平台部署的最终模型在 92.9% 的微观平均准确率和 75.8% 的宏观平均准确率上优于其他模型。
multi-label text classificationtext2topicbi-encoder transformer architecturezero-shot predictionsstream processing platform
发现论文，激发创造
  • 开放领域的主题分类

    本论文介绍了一种开放领域的主题分类系统，能够在实时接受用户自定义层次结构并通过零样本学习利用预训练语言模型来分类文本片段，并在多个领域数据集上进行了评估。

    Jun, 2023

  • ZeroBERTo：利用主题建模提高零样本文本分类能力

    本文提出了一种名为 ZeroBERTo 的新模型，利用无监督聚类方法在分类任务前获取压缩数据表示，其在长文本输入的性能和执行时间上都优于 XLM-R， F1 分数比 FolhaUOL 数据集上的 XLM-R 高约 12％。

    Jan, 2022

  • 用于短文本分类的主题记忆网络

    我们提出了用于短文本分类的主题记忆网络，采用新颖的主题记忆机制来编码类别标签的潜在主题表示，实验结果表明，我们的模型在短文本分类方面优于现有模型，并生成连贯的主题。

    Sep, 2018

  • TnT-LLM：大规模文本挖掘与大型语言模型

    利用大规模语言模型 (LLMs)，我们提出了 TnT-LLM 两阶段框架，自动化生成和分配标签，以最小人工工作量构建具有轻量级监督分类器的训练样本，并在 Bing Copilot 上应用此框架来分析用户意图和对话领域，实验结果表明 TnT-LLM 生成了更准确和相关的标签分类法，实现了在大规模分类中准确性和效率之间的有利平衡。

    Mar, 2024

  • 利用生成语言模型进行零样本文本分类

    本文研究了使用自然语言实现零样本模型对新任务的自适应性，通过社交评论平台的文本和元数据作为简单的预训练任务，并提供分类任务的自然语言描述作为输入训练语言模型，以生成正确答案的方式进行自然语言的模型推广，克服了多任务分类的缺点，在六个基准文本分类数据集上训练出具有零样本性能的生成性语言模型，结果显示语言可以作为任务自适应的简单而强大的描述符，这为文本问题的新元学习策略指明了方向。

    Dec, 2019

  • 关于零样本机器生成文本检测器稳定性的评估

    通过我们的研究，我们发现了自然语言生成、零样本机器生成文本检测以及大型语言模型等关键词之间的显著相关性，同时我们还探讨了话题转变对零样本检测方法的影响，揭示了这些检测方法在各种不同话题下的适应性和鲁棒性。

    Dec, 2023

  • 使用句子编码器进行零样本多标签主题推理

    利用句子编码器进行零样本主题推断任务时，Sentence-BERT 表现出与其他编码器相比的优越性能，而在效率是首要考虑因素时，通用句子编码器是首选；这一结论得到了对七个不同数据集的广泛实验的支持。

    Apr, 2023

  • 科学文档的层次多标签分类

    本文介绍一种新的数据集 SciHTC，包含 186,160 篇论文和 1,233 个学科分类，建立了层次化多标签文本分类的强基线，并提出了一种多任务学习方法来进行主题分类，获得 Macro-F1 得分 34.57％，显示这个数据集提供了显著的研究机会。

    Nov, 2022

  • G2T：基于预训练语言模型和社区检测的主题建模简单通用框架

    本文提出了一种名为图向话题（G2T）的框架，该框架能够使用预训练语言模型获取文档表示，并通过语义图和社区检测等方法进行主题建模。自动评估结果表明，G2T 在英文和中文文档上均取得了最优表现，并且比基线模型产生了更好的可解释性和覆盖范围。

    Apr, 2023

  • 零样本学习的跨语言上下文主题模型

    本文介绍了一种零射击跨语言主题模型，利用迁移学习来处理多个语言的数据集，以解决传统基于词袋的主题模型所面临的单语言或巨大而稀疏的词汇表等问题，并评估了在不同语言中同一篇文章的主题预测的准确性和连贯性，结果表明所转移的主题是连贯且稳定的，具有潜在的未来研究方向。

    Apr, 2020