May, 2024

可解释检测器：探索基于 Transformer 的语言建模方法用于具有可解释性分析的短信垃圾检测

PDF
TL;DR使用优化和微调的基于 Transformer 的大型语言模型解决短信垃圾信息检测问题，通过预处理技术、文本扩增技术解决数据噪声和类别不平衡问题，实验结果显示我们的优化微调 BERT 模型 RoBERTa 在短信垃圾信息检测任务中获得 99.84% 的高准确率，并采用可解释人工智能（XAI）技术探索和解释模型的透明性，对比了传统机器学习模型和基于 Transformer 的模型性能，描述了大型语言模型在信息安全领域中对复杂文本垃圾数据的积极影响。
发现论文，激发创造
  • 可解释的基于 Transformer 的网络钓鱼邮件检测模型：一种大型语言模型方法

    本研究论文介绍了一种优化的、经过微调的基于 Transformer 的 DistilBERT 模型，用于检测钓鱼邮件。通过实验，我们发现我们的模型能够有效地实现高准确性，并使用可解释的 AI 技术来解释我们的模型在钓鱼邮件的文本分类中进行预测的方式。

    Feb, 2024

  • 利用自然语言处理技术对电话网络进行短信垃圾检测和分类以打击滥用行为

    提出了利用自然语言处理和机器学习模型（特别是 BERT）进行短信垃圾检测和分类的方法，结果显示使用朴素贝叶斯分类器 + BERT 模型在测试数据集上实现了最高 97.31% 的准确率和最快 0.3 秒的执行时间，从而在短信垃圾检测效率和误报率方面有显著的改进。该模型为对抗短信垃圾提供了有价值的解决方案，不仅保护了用户的隐私，还帮助网络提供商有效识别和屏蔽短信垃圾消息。

    Jun, 2024

  • 一种改进的基于 Transformer 模型的钓鱼、垃圾邮件和非垃圾邮件识别方法：大型语言模型方法

    利用基于 BERT 模型的 IPSDM 模型，本文首次尝试将大型语言模型应用于检测钓鱼邮件和垃圾邮件，取得了更好的分类效果，并为改善信息系统安全迈出重要的第一步。

    Nov, 2023

  • 利用 BERT 模型的迁移学习进行通用垃圾邮件检测

    本文利用预训练的 Google 的 Bidirectional Encoder Representations from Transformers (BERT) 基础未大写模型，基于自我注意机制，并通过四个数据集高效分类垃圾邮件和非垃圾邮件，训练了一种通用的垃圾邮件检测模型，并取得了不错的性能。

    Feb, 2022

  • Spam-T5: 基于大型语言模型的少样本电子邮件垃圾检测基准测试

    本文旨在探究大型语言模型在垃圾邮件检测中的有效性，通过比较 BERT，Sentence Transformers 和 Seq2Seq 等不同家族的著名模型，并将 Naive Bayes 和 LightGBM 等传统方法作为基准方法。 结果表明，在大多数情况下，大型语言模型优于基线技术，特别是在少样本学习中。此外，本文介绍了 Spam-T5 模型，该模型针对电子邮件垃圾邮件检测进行了专门的微调。结果表明，Spam-T5 在大多数情况下优于基线模型和其他大型语言模型。

    Apr, 2023

  • 从理解到应用：关于大型语言模型可解释性的调查

    本文探讨大型语言模型（LLMs）的可解释性领域，强调了增强 LLMs 可解释性的必要性，重点关注预训练的基于 Transformer 的 LLMs，如 LLaMA，以及改善模型透明度和可靠性的解释性方法和评估方法的分类与讨论。

    Jan, 2024

  • 大型语言模型的可解释性概述

    对大型语言模型的解释技术进行分类和总结，并讨论了这些技术在训练范式、生成局部解释和全局解释方面的应用以及评估指标、调试模型和提高性能的挑战和机会。

    Sep, 2023

  • 拓展与解释：解读超长语言模型

    介绍了一种基于掩码采样过程（MSP）的方法，以解决长文本医疗领域的诊断预测问题。该方法可以识别出较多的临床信息文本块，并且比之前最先进的方法运行速度更快，可用于任何文本分类器。

    Sep, 2022

  • 使用 Transformer 进行可解释的口语欺骗检测

    本文提出并评估了六种深度学习模型，包括 BERT（和 RoBERTa），MultiHead Attention，co-attentions 和 transformers，结果表明我们的基于 transformer 的模型可以提高自动化的欺骗检测性能（+2.11％的准确率），并显示与真实和欺骗陈述中 LIWC 特征使用相关的显着差异。

    Oct, 2022

  • 利用 Transformer 在 Twitter 中多模态检测社交垃圾机器人

    早期检测社交垃圾机器人对于防范传播虚假信息和操控公众意见至关重要。本研究首次使用用户描述字段和图像，采用预训练的视觉模型以及 TwHIN-BERT 来获取文本和图像的表征，并提出了三种不同的融合方法进行多模态融合，并在 Cresci '17 数据集上进行了广泛实验，证明了我们方法在准确率上具有显著优势，达到了 99.98%。

    Aug, 2023