Oct, 2023

特征选择与超参数优化的改进遗传算法：垃圾邮件预测中的 XGBoost 案例

PDF
TL;DR近期，网上社交网络的垃圾邮件引起了研究和商业界的关注。本文提出了一种改进的遗传算法用于同时减少维度和超参数优化，针对不平衡数据集。该算法使用极限梯度提升分类器对推文数据集进行特征空间降维，生成垃圾邮件预测模型，并验证了模型的有效性。实证结果表明，改进的遗传算法在特征选择方面优于 Chi^2 和 PCA 方法，而极限梯度提升在垃圾邮件预测方面优于包括基于 BERT 的深度学习模型在内的许多机器学习算法。此外，该方法还应用于短信垃圾邮件建模并与相关工作进行比较。
发现论文，激发创造
  • 自动梯度提升

    本文提出了一种基于梯度提升和自动超参数调整的自动机器学习框架 (autoxgboost)，与目前的 AutoML 项目进行了比较，并在 16 个数据集上取得了可比较的结果和两个最佳表现。

    Jul, 2018

  • 解释性和高性能的仇恨和冒犯性言论检测

    该研究建立了一个基于 XGBoost 算法的可解释且易于理解的模型（使用 Twitter 数据）来检测社交媒体平台上的仇恨言论和冒犯性言论，并通过 Shapley Additive Explanations（SHAP）方法，使得模型能够解释和解读其输出结果。该模型的 F1 得分高于 LSTM，AutoGluon 和 ULMFiT 模型。

    Jun, 2022

  • 利用推特固有特性提高 Twitter 社交垃圾邮件检测的效果

    本研究旨在通过仅依赖推文固有特征，检测社交垃圾邮件，使用两个大的手动标记的推文数据集，研究了五种分类算法和四种不同的特征集的适用性，并发现通过仅使用推文中有限的特征，我们可以获得有竞争力的结果，是社交垃圾邮件检测系统的有效补充。

    Mar, 2015

  • 提升树用于反垃圾邮件过滤

    本文介绍了一组用于自动过滤垃圾邮件的比较实验，研究了一些 AdaBoost 算法变形，得出增加基础学习者复杂性有助于获得更好的高精度分类器，而基于增强式学习的方法可以明显优于贝叶斯朴素分类和决策树归纳等基准学习算法。

    Sep, 2001

  • 高级支付安全系统：XGBoost、CatBoost 和 SMOTE 集成

    利用 XGBoost 和 LightGBM 等机器学习模型，通过应用先进的机器学习模型和数据处理技术，本研究开发了一种更准确、更稳健的支付安全保护模型，有效提升了交易欺诈预防的能力。

    Jun, 2024

  • 梯度提升特征选择

    本研究提出了一种名为梯度提升特征选择 (GBFS) 的新型特征选择算法，该算法可可靠地提取相关特征，能够识别非线性特征相互作用，与特征和维度的数量线性缩放，并允许纳入已知的稀疏结构，并在多个真实世界的数据集上进行了评估，表现出强大的性能，比其他现有的特征选择算法具有更好的扩展性和适应性。

    Jan, 2019

  • 运用遗传算法和极限增强建模电话推销过程：特征选择和成本敏感分析方法

    目前，几乎所有的直接营销活动都以虚拟方式进行，而不是面对面，这加剧了人际交往能力的下降。此研究旨在利用电话营销数据来建模客户对定期存款的意愿，并找出客户的最重要特征。通过从葡萄牙银行和国家社会经济指标收集的真实数据进行决策建模。该研究提出了一种基于遗传算法的新型分类器来选择最佳的区分特征，并同时调整分类器参数。建立了一个可解释的预测模型。模型经过严格验证，表现显著优于相关研究，准确率平均达到 89.07％，几何平均值为 0.059。该模型预期能以最小的成本实现最大的潜在利润，并为营销决策提供更多洞察。

    Oct, 2023

  • 利用凝聚层次聚类和基于主题的方法对垃圾邮件进行分类

    基于主题的方法用于将垃圾邮件分类为多个类别，作者提出了两个新数据集，对其进行了标记，并评估了不同特征表示技术和分类器的性能。实验结果表明，英语数据集的最佳性能来自使用 TF-IDF 和逻辑回归，而西班牙语数据集的最佳性能来自使用 TF-IDF 和朴素贝叶斯。

    Feb, 2024

  • 评估 XGBoost 在平衡和不平衡数据上的应用：应用于欺诈检测

    本文使用不同大小和类别分布的数据集评估 XGBoost 在欺诈检测中的性能，并提出了数据准备管道和比较，发现随机搜索微调对大型数据集有一致的改进，但对于中小型数据集则不是如此。在数据不平衡的情况下，训练集平衡化并不能提供一致的改进，因此未来的工作将包括对处理数据不平衡的不同技术以及评估其他方法的系统研究。

    Mar, 2023

  • 基于遗传规划的混合集成优化算法用于不平衡数据分类

    本研究提出了一个基于遗传编程的混合集成算法，以提高训练数据集（尤其是少数类）的采样效率，并确定比现有方法更好的基本分类器来组合分类器，实验结果表明，在 40％和 50％的训练集规模下，所提出的方法在少数分类预测的特定数据集上表现更佳。

    Jun, 2021