Aug, 2023

优化多类文本分类：基于变形金刚的多样性叠加集成框架

PDF
TL;DR通过引入基于堆叠集成的多文本分类方法来解决单一分类器的欠拟合和偏差限制，结合 BERT、ELECTRA、DistilBERT、RoBERTa 等多个转换器模型，在真实客户评论数据集上进行实验评估，验证了该方法在提高准确性和鲁棒性方面的有效性和优越性，证明了使用转换器的堆叠集成的多文本分类方法是从客户评论中提取有价值的见解并作出数据驱动决策以提升客户满意度和推动持续改进的有前途的解决方案。
customer reviewstext classification techniquesstacking ensembletransformer modelscustomer satisfaction
发现论文，激发创造
  • 基于 Transformer 的集成模型对 AI 生成的文本进行检测

    本论文介绍了我们团队 “SynthDetectives” 在 ALTA 2023 共享任务中的提交情况。我们采用了一种堆叠 Transformer 模型的方法来实现 AI 生成文本的检测任务。我们的方法在模型选择上是新颖的，因为我们使用了易于访问和轻量级的模型进行集成。我们展示了模型集成相比单独使用模型能够提高准确性的结果。在共享任务组织者提供的官方测试数据上，我们的方法达到了 0.9555 的准确得分。

    Oct, 2023

  • 问题分类的集成方法：集成 Electra Transformer、GloVe 和 LSTM

    本文介绍了一种新颖的集成方法，使用先进模型 Electra、GloVe 和 LSTM 进行问题分类。该提出的模型在 TREC 数据集上进行训练和评估，这是一个问题分类任务的公认基准。集成模型综合了 Electra（一种基于 transformer 的语言理解模型）、GloVe（一种全局词向量表示方法）和 LSTM（一种循环神经网络变种），为问题分类提供了稳健高效的解决方案。大量实验比较了所提出的集成方法与其他尖端模型（如 BERT、RoBERTa 和 DistilBERT）的性能，结果表明在所有评估指标上，集成模型的表现优于这些模型，在测试集上达到了 0.8 的准确度。这些发现凸显了集成方法在增强问题分类任务性能方面的有效性，促使进一步探索在自然语言处理中的集成方法。

    Aug, 2023

  • 使用 Transformer 高效分类长文档

    本文提供了一个广泛的长文本分类的基准测试方法，包括二分类、多分类、多标签分类任务，研究发现更复杂的模型并不总是优于简单的基准模型，并且在不同数据集上表现不稳定，因此需要未来研究考虑更全面的基准模型和数据集以开发出更为稳健的模型。

    Mar, 2022

  • 基于 Transformer 与卷积神经网络结合的集成方法用于检测人工生成文本

    我们的研究通过将 Sci-BERT、DeBERTa 和 XLNet 等变形器模型与卷积神经网络 (CNNs) 进行集成，构建了一些分类模型，实验证明考虑的集成架构在分类方面的性能超过了单个变形器模型。此外，所提出的 SciBERT-CNN 集成模型在 ALTA 共享任务 2023 数据上产生了 98.36% 的 F1-score。

    Oct, 2023

  • 一种基于多模型的深度学习框架，用于处理不平衡和非常小的数据集进行短文本多分类

    本文提出了一种基于多模态的深度学习框架，用于短文本多类别分类，针对于极小数据集，使用了 DISTILBERT 来获取上下文敏感的动态词向量，并取得了在精度、召回率、准确率和 F1 分数上与现有最优方法相同的性能，同时模型体积更小，可以在移动设备上更快、更轻地部署。

    Jun, 2022

  • 面向产品项目分类的多输出头集成

    本研究回顾了针对大规模电子商务目录的产品项分类问题。我们提出了一种基于深度学习的分类模型框架，利用多个分类器的组合和融合来改善分类性能，并使用元数据特征和低级特征工程来提升模型质量。此外，我们还提出了一种使用用户会话评估模型性能的新方法，相较于传统的精确度和召回率等评估指标，提供更详尽的洞察力。

    Jul, 2023

  • 利用基于 Transformer 的集成学习来分类科学论文

    本文介绍了一个系统，它包括四个独立子系统，能够将科学文献的摘要分类到给定的七个类别中，通过对这四个子系统的集成，可以得到一个在测试和验证集上 F1 分数为 0.93 的最终系统，优于现有的最先进模型 SciBERT 的 F1 分数。

    Feb, 2021

  • 自适应精调 Transformer 集成模型用于 LLM 生成文本检测

    大语言模型生成文本内容的多样性接近于人类的能力，因此为了避免潜在的风险如社交媒体上的假新闻，需要有效的假文本检测。本研究通过在内部和外部分布数据集上测试五种专门的基于 Transformer 的模型来研究它们在 LLM 生成文本检测任务中的性能和泛化能力。结果表明，单个基于 Transformer 的分类器在内部数据集上取得了不错的性能，但在外部数据集上的泛化能力有限。为了改进这一点，我们使用自适应集成算法结合了个体分类器模型，将在内部测试集上的平均准确率从 91.8% 提高到 99.2%，在外部测试集上的准确率从 62.9% 提高到 72.5%。结果表明自适应集成算法在 LLM 生成文本检测中具有有效性、良好的泛化能力和巨大的潜力。

    Mar, 2024

  • 使用未标记数据对基于 Transformer 的模型进行领域自适应，用于德语客户反馈的相关性和极性分类

    利用不同基于 Transformer 的模型探索分析德语顾客反馈数据集的效率，进一步分析预训练模型是否使用无标签数据适应特定领域会比现成模型获得更好的结果，实验结果表明，这些预训练模型取得了显著改进，超过了已发表的成绩和以前的模型。

    Dec, 2022

  • 基于多种神经网络模型的越南社交媒体数据集的简单高效集成分类器

    使用深度学习模型和集成模型对社交媒体上的越南文本进行分类，实现了比之前研究更好的性能。

    Sep, 2020