Aug, 2023

问题分类的集成方法：集成 Electra Transformer、GloVe 和 LSTM

PDF
TL;DR本文介绍了一种新颖的集成方法，使用先进模型 Electra、GloVe 和 LSTM 进行问题分类。该提出的模型在 TREC 数据集上进行训练和评估，这是一个问题分类任务的公认基准。集成模型综合了 Electra（一种基于 transformer 的语言理解模型）、GloVe（一种全局词向量表示方法）和 LSTM（一种循环神经网络变种），为问题分类提供了稳健高效的解决方案。大量实验比较了所提出的集成方法与其他尖端模型（如 BERT、RoBERTa 和 DistilBERT）的性能，结果表明在所有评估指标上，集成模型的表现优于这些模型，在测试集上达到了 0.8 的准确度。这些发现凸显了集成方法在增强问题分类任务性能方面的有效性，促使进一步探索在自然语言处理中的集成方法。
发现论文，激发创造
  • 一种基于 LSTM、BiLSTM、CNN、GRU 和 GloVe 的混合机器学习模型用于癌症基因突变分类

    本研究提出了一种集成模型，结合了 LSTM、BiLSTM、CNN、GRU 和 GloVe，用于对基因突变进行分类，在 Kaggle 的个性化医学中使用《重定义癌症治疗》数据集。结果与 BERT、Electra、Roberta、XLNet、Distilbert 以及它们的 LSTM 集成进行了比较。我们的模型在准确性、精确度、召回率、F1 分数和均方误差等方面胜过了所有其他模型。令人惊讶的是，它还需要较少的训练时间，从而实现了性能和效率的完美结合。本研究展示了集成模型在基因突变分类等困难任务中的实用性。

    Jul, 2023

  • 基于 Transformer 与卷积神经网络结合的集成方法用于检测人工生成文本

    我们的研究通过将 Sci-BERT、DeBERTa 和 XLNet 等变形器模型与卷积神经网络 (CNNs) 进行集成，构建了一些分类模型，实验证明考虑的集成架构在分类方面的性能超过了单个变形器模型。此外，所提出的 SciBERT-CNN 集成模型在 ALTA 共享任务 2023 数据上产生了 98.36% 的 F1-score。

    Oct, 2023

  • 优化多类文本分类：基于变形金刚的多样性叠加集成框架

    通过引入基于堆叠集成的多文本分类方法来解决单一分类器的欠拟合和偏差限制，结合 BERT、ELECTRA、DistilBERT、RoBERTa 等多个转换器模型，在真实客户评论数据集上进行实验评估，验证了该方法在提高准确性和鲁棒性方面的有效性和优越性，证明了使用转换器的堆叠集成的多文本分类方法是从客户评论中提取有价值的见解并作出数据驱动决策以提升客户满意度和推动持续改进的有前途的解决方案。

    Aug, 2023

  • 使用预训练语言模型集成的简答评分

    本研究探讨了利用 Kaggle 自动化短问题评分数据集，通过微调一系列的小型、基础型、大型预训练 Transformer 语言模型，并训练一个特征模型来测试这些模型的集成的有效性。观察到较大的模型通常表现稍好，但它们仍无法自己达到最优结果，只有通过大量网络集成才能产生最优结果，但这些集成过于庞大，无法应用于实际生产环境。

    Feb, 2022

  • 利用基于 Transformer 的集成学习来分类科学论文

    本文介绍了一个系统，它包括四个独立子系统，能够将科学文献的摘要分类到给定的七个类别中，通过对这四个子系统的集成，可以得到一个在测试和验证集上 F1 分数为 0.93 的最终系统，优于现有的最先进模型 SciBERT 的 F1 分数。

    Feb, 2021

  • 深度学习中的混合和集成模型在自然语言处理中的综述

    该研究综述了自然语言处理中混合和集成深度学习模型的广泛探索，揭示了它们在情感分析、实体识别、机器翻译、问答、文本分类、生成、语音识别、摘要生成和语言建模等多种任务中具有的变革潜力。研究系统地介绍了每个任务，从循环神经网络 (RNNs) 到基于 Transformer 的模型如 BERT，阐述了它们的性能、挑战和计算需求。强调了集成技术的适应性，突出了它们增强各种自然语言处理应用的能力。还讨论了在实施过程中的挑战，包括计算负载、过拟合和模型解释复杂性，以及解释性和性能之间的权衡。作为精炼而宝贵的指南，该综述综合了有关任务、模型结构和挑战的见解，为研究人员和从事自然语言处理的从业者提供了一个综合的视角，以通过集成深度学习在自然语言处理中推进基于语言的应用。

    Dec, 2023

  • 一个简单而高效的集成方法用于 AI 生成文本检测

    近期大型语言模型（LLMs）在各种风格和体裁的文本生成方面展示了惊人的能力。然而，这种能力容易被滥用，如虚假新闻生成、垃圾电子邮件创建以及在学术作业中的误用。因此，建立能够区分人工生成文本和人类作者文本的自动化方法至关重要。本文提出了一种简单而高效的解决方案，通过集成多个组成 LLM 的预测来解决这个问题。相较于以往基于困惑度或使用众多 LLM 的集成方法，我们的简化集成方法仅使用两个组成 LLM 即可达到可比较的性能。在四个生成文本分类基准数据集上进行的实验证明，与以往的最先进方法相比，性能提升范围在 0.5％到 100％之间。我们还研究了来自各个 LLM 的训练数据对模型性能的影响。结果表明，将商业限制的生成预训练变压器（GPT）数据替换为其他开放语言模型生成的数据，如 Falcon、Large Language Model Meta AI（LLaMA2）和 Mosaic Pretrained Transformers（MPT），是开发生成文本检测器的可行替代方法。此外，为了展示零 - shot 推广能力，我们在一个英语散文数据集上进行了实验，结果表明我们的集成方法可以有效处理新数据。

    Nov, 2023

  • 基于 LSTM 的深度学习模型用于非事实答案选择

    本文探索了一种深度学习框架，用于解决答案选择问题，结合双向长短期记忆模型、卷积神经网络和注意力机制，结果表明该模型在 TREC-QA 和 InsuranceQA 数据集上优于已有模型。

    Nov, 2015

  • 使用 GloVe 和神经网络模型进行多标签文本分类

    多标签文本分类面临诸多挑战，本文提出了一种基于 GloVe 模型和 CNN-BiLSTM 网络的词袋模型方法，该方法在测试集上达到了 87.26% 的准确率和 0.8737 的 F1 分数，展现出了良好的结果。

    Oct, 2023

  • 基于 Transformer 的语言模型在抽取式问答中的比较研究

    本文旨在研究和比较不同的预训练语言模型在回答问题的能力上的表现，通过使用 Bert-BiLSTM 结构模型的效果来检验双向流的加入是否能够提高模型性能，并发现 RoBERTa 和 BART 表现最佳。

    Oct, 2021