一种基于多模型的深度学习框架，用于处理不平衡和非常小的数据集进行短文本多分类

Jun, 2022

一种基于多模型的深度学习框架，用于处理不平衡和非常小的数据集进行短文本多分类

A multi-model-based deep learning framework for short text multiclass classification with the imbalanced and extremely small data set

PDF

Jiajun Tong, Zhixiao Wang, Xiaobin Rui

TL;DR本文提出了一种基于多模态的深度学习框架，用于短文本多类别分类，针对于极小数据集，使用了 DISTILBERT 来获取上下文敏感的动态词向量，并取得了在精度、召回率、准确率和 F1 分数上与现有最优方法相同的性能，同时模型体积更小，可以在移动设备上更快、更轻地部署。

Abstract

text classification plays an important role in many practical applications. In the real world, there are extremely small datasets. Most existing methods adopt pre-trained neural network models to handle this kind of dataset. However, these methods are either difficult to deploy on mobi

text classification deep learning multimodal-based framework small data set distilbert

发现论文，激发创造

神经网络少样本文本分类的现实检验

本文介绍了在 NLP 领域中使用头部计算机视觉模型的性能以及使用 transformers 后的表现，探讨了这些模型在意图识别任务中的应用情况，发现造成性能差异的因素为任务的类别数量，提出了一个简单的基线模型，所有实现的模型都会被公开。

Jan, 2021

基于大型预训练语言模型的实用文本分类

本文提出利用大规模无监督语言建模与微调相结合的方法来解决情感多维度分类问题，并在 SemEval2018 Task 1:E-c 上获得竞争力和实际应用价值，成果表明这种方法可以用于真实情感分类任务。

Dec, 2018

用于短文本分类的主题记忆网络

我们提出了用于短文本分类的主题记忆网络，采用新颖的主题记忆机制来编码类别标签的潜在主题表示，实验结果表明，我们的模型在短文本分类方面优于现有模型，并生成连贯的主题。

Sep, 2018

针对具有适度大标签空间的商业相关文本的不平衡多标签分类

比较了四种不同的方法在特定数据集上的多标签文本分类性能，结果表明，精细调整的 BERT 表现出较高的准确性，F1 得分，精确度和召回率，相比于其他三种方法表现更好。这些发现突出了 fine tuned BERT 在多标签文本分类任务中的有效性，并暗示它在分析复杂文本方面可能是一种有用的工具。

Jun, 2023

基于多种神经网络模型的越南社交媒体数据集的简单高效集成分类器

使用深度学习模型和集成模型对社交媒体上的越南文本进行分类，实现了比之前研究更好的性能。

Sep, 2020

基于层级神经网络的长文档分类方法

本文研究使用分层传递学习方法进行长文本分类，通过将数据分成块，然后传递到使用双向编码器表示的预训练通用句子编码器和 BERT 的基本模型，然后使每个块的输出表示通过包括 LSTMs 或 CNNs 的浅层神经网络来分类文本数据。使用此扩展方法对 6 个基准数据集进行评估，同时与多个深度学习算法进行比较，其中 Longformer 方法在大多数数据集上始终表现良好。

Jan, 2022

利用大量弱监督数据进行多语言情感分类

本文提出了一种新的多语言情感分类方法，使用了大量的弱监督数据训练多层卷积网络，通过在多种语言数据集上进行充分的评估，证明该方法的优异性能，达到了同类研究的最高水平。

Mar, 2017

自适应精调 Transformer 集成模型用于 LLM 生成文本检测

大语言模型生成文本内容的多样性接近于人类的能力，因此为了避免潜在的风险如社交媒体上的假新闻，需要有效的假文本检测。本研究通过在内部和外部分布数据集上测试五种专门的基于 Transformer 的模型来研究它们在 LLM 生成文本检测任务中的性能和泛化能力。结果表明，单个基于 Transformer 的分类器在内部数据集上取得了不错的性能，但在外部数据集上的泛化能力有限。为了改进这一点，我们使用自适应集成算法结合了个体分类器模型，将在内部测试集上的平均准确率从 91.8% 提高到 99.2%，在外部测试集上的准确率从 62.9% 提高到 72.5%。结果表明自适应集成算法在 LLM 生成文本检测中具有有效性、良好的泛化能力和巨大的潜力。

Mar, 2024

具有鉴别性聚类嵌入的小型文本分类器

通过学习硬词聚类并使用 Gumbel-Softmax 分布最大化潜在聚类并最小化任务误差，我们减少了神经自然语言处理方法中嵌入参数的模型大小。我们提出了一些变体，可以选择性地为单词分配额外的参数，从而在仍然保持参数有效的情况下进一步提高准确性。

Jun, 2019

高效文本分类的诀窍

本文介绍了一种用于文本分类的简单高效的基线方法 fastText，在准确性方面通常与深度学习分类器相媲美，但在训练和评估方面快了数个数量级。我们用标准的多核 CPU 可以在不到十分钟的时间内对十亿多个单词进行训练，并在不到一分钟的时间内对 312K 种类别的 50 万个句子进行分类。

Jul, 2016