Feb, 2022

利用 BERT 模型的迁移学习进行通用垃圾邮件检测

PDF
TL;DR本文利用预训练的 Google 的 Bidirectional Encoder Representations from Transformers (BERT) 基础未大写模型，基于自我注意机制，并通过四个数据集高效分类垃圾邮件和非垃圾邮件，训练了一种通用的垃圾邮件检测模型，并取得了不错的性能。
发现论文，激发创造
  • 一种改进的基于 Transformer 模型的钓鱼、垃圾邮件和非垃圾邮件识别方法：大型语言模型方法

    利用基于 BERT 模型的 IPSDM 模型，本文首次尝试将大型语言模型应用于检测钓鱼邮件和垃圾邮件，取得了更好的分类效果，并为改善信息系统安全迈出重要的第一步。

    Nov, 2023

  • 可解释检测器：探索基于 Transformer 的语言建模方法用于具有可解释性分析的短信垃圾检测

    使用优化和微调的基于 Transformer 的大型语言模型解决短信垃圾信息检测问题，通过预处理技术、文本扩增技术解决数据噪声和类别不平衡问题，实验结果显示我们的优化微调 BERT 模型 RoBERTa 在短信垃圾信息检测任务中获得 99.84% 的高准确率，并采用可解释人工智能（XAI）技术探索和解释模型的透明性，对比了传统机器学习模型和基于 Transformer 的模型性能，描述了大型语言模型在信息安全领域中对复杂文本垃圾数据的积极影响。

    May, 2024

  • Spam-T5: 基于大型语言模型的少样本电子邮件垃圾检测基准测试

    本文旨在探究大型语言模型在垃圾邮件检测中的有效性，通过比较 BERT，Sentence Transformers 和 Seq2Seq 等不同家族的著名模型，并将 Naive Bayes 和 LightGBM 等传统方法作为基准方法。 结果表明，在大多数情况下，大型语言模型优于基线技术，特别是在少样本学习中。此外，本文介绍了 Spam-T5 模型，该模型针对电子邮件垃圾邮件检测进行了专门的微调。结果表明，Spam-T5 在大多数情况下优于基线模型和其他大型语言模型。

    Apr, 2023

  • 利用 Transformer 在 Twitter 中多模态检测社交垃圾机器人

    早期检测社交垃圾机器人对于防范传播虚假信息和操控公众意见至关重要。本研究首次使用用户描述字段和图像，采用预训练的视觉模型以及 TwHIN-BERT 来获取文本和图像的表征，并提出了三种不同的融合方法进行多模态融合，并在 Cresci '17 数据集上进行了广泛实验，证明了我们方法在准确率上具有显著优势，达到了 99.98%。

    Aug, 2023

  • 利用自然语言处理技术对电话网络进行短信垃圾检测和分类以打击滥用行为

    提出了利用自然语言处理和机器学习模型（特别是 BERT）进行短信垃圾检测和分类的方法，结果显示使用朴素贝叶斯分类器 + BERT 模型在测试数据集上实现了最高 97.31% 的准确率和最快 0.3 秒的执行时间，从而在短信垃圾检测效率和误报率方面有显著的改进。该模型为对抗短信垃圾提供了有价值的解决方案，不仅保护了用户的隐私，还帮助网络提供商有效识别和屏蔽短信垃圾消息。

    Jun, 2024

  • 基于 Transformer 的情感检测方法

    本研究探讨了采用不同类型的最先进的转换器模型对文本分类的性能，发现其中 RoBERTa 模型在测试数据集上表现最佳，可用于文本中灾难的检测。此外，我们发现预处理技术，词汇表中单词的性质，不平衡标签和模型参数对学习算法的性能产生影响。

    Mar, 2023

  • 自适应精调 Transformer 集成模型用于 LLM 生成文本检测

    大语言模型生成文本内容的多样性接近于人类的能力，因此为了避免潜在的风险如社交媒体上的假新闻，需要有效的假文本检测。本研究通过在内部和外部分布数据集上测试五种专门的基于 Transformer 的模型来研究它们在 LLM 生成文本检测任务中的性能和泛化能力。结果表明，单个基于 Transformer 的分类器在内部数据集上取得了不错的性能，但在外部数据集上的泛化能力有限。为了改进这一点，我们使用自适应集成算法结合了个体分类器模型，将在内部测试集上的平均准确率从 91.8% 提高到 99.2%，在外部测试集上的准确率从 62.9% 提高到 72.5%。结果表明自适应集成算法在 LLM 生成文本检测中具有有效性、良好的泛化能力和巨大的潜力。

    Mar, 2024

  • 基于 Transformer 和混合深度学习模型的机器生成文本检测

    该研究介绍了 UniBuc - NLP 团队应对 SemEval 2024 任务 8：多生成器、多领域和多语言黑盒机器生成文本检测的方法。我们探索了基于 transformer 和混合深度学习架构。其中，我们的基于 transformer 的模型在子任务 B 中以 86.95％的准确度在 77 个团队中取得了强势的第二名，展示了该架构在此任务中的适用性。然而，我们的模型在子任务 A 中显示出了过拟合的现象，这可能通过减少微调和增加最大序列长度来修复。对于子任务 C（标记级别分类），我们的混合模型在训练过程中出现了过拟合，影响了其检测人工文本和机器生成文本之间的转换能力。

    May, 2024

  • 评估基于 BERT 预训练语言模型在检测谣言方面的表现

    本研究提出了使用基于 BERT 的预训练语言模型将文本数据编码为向量，并利用神经网络模型进行分类以检测谣言，进一步比较不同语言模型的表现与可训练参数。然后在不同的短文本和长文本数据集上进行了测试，结果表明该技术的表现优于现有技术，并测试其组合数据集的表现，结果表明大数据的训练和测试对提高技术的性能具有相当大的作用。

    Mar, 2022

  • 利用 Transformer 模型集合检测生成的科学论文

    该论文讨论了在第三届学术文档处理研讨会上开展的 DAGPap22 共享任务中开发的神经模型，侧重于比较不同的基于 transformer 的模型并使用附加数据集和技术来处理不平衡的类别，在提交最终版本时，我们使用经过随机过采样技术微调的 SciBERT，RoBERTa 和 DeBERTa 集成模型达到了 99.24% 的 F1 得分，官方评估结果将我们的系统排在第三位。

    Sep, 2022