Nov, 2023

使用深度学习方法确定有毒评论和意外模型偏差最小化

PDF
TL;DR使用 BERT 模型，通过对权重损失的加权处理，检测有毒评论并减少对包括种族、性别、宗教在内的身份特征的意外偏见。与传统的逻辑回归模型相比，经过微调的 BERT 模型在分类和偏见减少方面表现得更好，具有 89% 的准确率。
toxic text commentsdeep learning modelsunintended biasesidentity featuresbert model
发现论文，激发创造
  • 多任务学习在毒性评论检测中降低模型偏差的实证分析

    该论文评估了多种最先进的模型，特别关注减少模型对一些少数群体的偏见，提出了一个多任务学习模型以及一系列深度学习模型，并使用特定的指标测试这些身份群体中意料之外的模型偏见。

    Sep, 2019

  • 在有毒语言检测标注中实现性别平等的目标

    研究评论标注者的人口统计数据如何影响模型的公平性，探讨男性和女性对评论进行标注的差异对造成的偏见，通过预处理训练数据、使用女性标注数据培训模型，可以减少性别偏见并提高模型准确性。

    Jun, 2021

  • 使用机器学习模型对社交媒体毒性评论进行分类

    研究讨论了社交媒体平台上存在的有害评论问题，提出使用 Lstm-cnn 模型构建分类器，以高精度区分有毒和无毒评论，并帮助组织更好地检查评论区的有害性。

    Apr, 2023

  • 在线毒性检测的机器学习套件

    本文使用数据科学的现代工具将原始文本转化成关键特征，并使用阈值法或学习算法对其进行分类以监控具有攻击性的网络对话，通过系统评估 62 个分类器，从 19 个主要算法组中抽取特征并分析其准确性及相对执行时间。在语法、情感、情绪以及离群字典的 28 个特征中，一个简单的脏词列表被证明是最有预测性的评价有攻击性评论的方法，其中基于树的算法提供最透明易懂的规则，并排列特征的预测贡献。

    Oct, 2018

  • 使用深度学习进行可解释的孟加拉有害评论多标签分类

    本文提出了一个基于深度学习的流程，用于分类孟加拉语的有害评论，首先使用二元分类模型确定评论是否有害，然后使用多标签分类器确定评论属于哪种毒性类型，使用 LSTM 和 BERT 嵌入达到了 89.42% 的准确性，并使用卷积神经网络和双向 LSTM（CNN-BiLSTM）实现了 78.92% 的准确率和 0.86 的加权 F1 分数。

    Apr, 2023

  • 毒性评论猎手：评分有毒评论的严重程度

    本研究利用不同角度的数据清洗和特征提取操作，得到不同的有毒评论训练集，并基于 TFIDF 和微调的 Bert 模型进行模型构建，最终将代码封装成软件以实现有毒评论的实时评分。

    Feb, 2022

  • 卷积神经网络用于有害评论分类

    通过使用卷积神经网络方法来识别文本中有害评论，取得了很好的效果，为其在过滤互联网内容中的作用提供了充分的证据。

    Feb, 2018

  • 检测有毒语料库中的意外社会偏见

    本研究介绍了一个新的数据集 ToxicBias，这是从 Kaggle 竞赛中现有的数据集 “Jigsaw Unintended Bias in Toxicity Classification” 中精心策划的，旨在检测社交偏见及其类别和目标群体。我们使用我们策划的数据集对基于转换器的模型进行训练，并报告了偏见识别、目标生成和偏见影响的基线性能。研究还详细讨论了模型偏见及其缓解。

    Oct, 2022

  • 基于 BERT 的在线社交媒体仇恨言论检测的迁移学习方法

    本研究提出了一种基于 BERT 和 Transfer Learning 的新型方案，以捕获社交媒体内容中的仇恨语境，并证明该方案能有效解决标注数据不足和存在偏差的问题，使得模型性能得到提升。

    Oct, 2019

  • 预测不健康的线上对话中不同类型的微妙毒性

    本文研究了机器学习模型在对包含多种形式的细微虐待语言（如敌意、讽刺和概括等）的不健康在线会话进行分类的应用。结合包含 7 种细微有毒评论的公共数据集，我们成功地对这些评论进行了分类和判别，并揭示了对于不同种类的不健康评论，其中，敌意评论比其他类型更容易检测。同时，情感分析表明，多数类型的有害评论与轻微负面情绪相关联，其中敌意评论是最具负面情绪的类型。

    Jun, 2021