双语性别歧视分类:Fine-Tuned 的 XLM-RoBERTa 和 GPT-3.5 少样本学习
该研究论文描述了 AI-UPV 团队在 CLEF 2023 的 EXIST(社交网络中的性别歧视识别)实验室中的参与情况,旨在通过训练大型语言模型和集成策略来解决性别歧视识别和分类的任务,在学习中处理争议,无需使用任何聚合标签。
Jul, 2023
本文对 SemEval-2023 Task 10 的 EDOS 任务进行了参与和研究,讨论了将两个语言模型:XLM-T 和 HateBERT 迁移用于英语 Gab 和 Reddit 数据集的多层次分类,进一步细分至性别歧视或非性别歧视,并使用人工标签数据和中间类信息实现了用于最大化模型性能的综合分类。我们提交的系统在 Task A 排名第 49,F1 得分为 0.82,并且仅低于最优系统 F1 得分 0.052%,表现具有较竞争力。
Apr, 2023
这篇论文讲述了如何提高对网络性别歧视检测的可解释性,并对比了单一任务和多任务学习在不同子任务下的表现。
Jun, 2023
本文讨论了我们在 SemEval-2023 任务 10 中应用的方法:实现在线性别歧视的可解释检测。我们进行了三个分类任务以预测文本是否具有性别歧视,将性别歧视文本分类为子类以提供其他解释。我们尝试了许多不同类型的模型,包括 GloVe 嵌入作为基线方法,基于 transformer 的深度学习模型如 BERT,RoBERTa 和 DeBERTa,集成模型和模型混合。我们探索了各种数据清理和增强方法以提高模型性能。预训练 transformer 模型在性能上产生了显着的改进,而集成和混合略微提高了 F1 的稳健性。
May, 2023
本文介绍了一个用于在线性别歧视检测的多任务模型,该模型通过对各种相关任务和数据集进行微调,然后在具体任务上进行微调,通过将每个任务形式化为二进制成对文本分类来实现多任务学习,结果相对于使用 DeBERTa-V3 fine-tuned 作为基准的结果进行比较,在任务 A 中,F1 值达到了 85.9%(rank 13/84),在任务 B 中达到了 64.8%(rank 19/69),在任务 C 中达到了 44.9%(rank 26/63)。
Jun, 2023
本文介绍一种基于神经网络的多标签性别歧视分类方法,利用包括 BERT 在内的模型获得的句子表示,结合分布式和语言学词嵌入,采用灵活的层次结构,进一步利用未标记的性别歧视账户来注入领域特定元素。该方法在多个深度学习和传统机器学习基线中表现最佳。
Oct, 2019
本文介绍了我们在 SemEval 2023 - 可解释的在线性别歧视检测 (EDOS) 的 Task 10 中的贡献,包括三个子任务。我们提出了使用 BERT-based 模型进行实验和调优、并使用多数表决模型的方法来检测和解释在线性别歧视内容。在三个任务中,我们的系统均取得了优异的宏 F1 得分。
Apr, 2023
本论文描述了我们的系统,旨在设计出一个自动系统来探测和分类在线空间中的性别歧视内容。我们提出了一组基于 transformer 的预训练模型,通过任务适应式预训练和集成学习相结合。通过分析不同的 transformer-based 预训练模型的性能以及组合这些模型,提供了一种使用大量未标注数据的有效方法,同时还探索了几种其他策略。在测试数据集上,我们的系统分别在子任务 A,B 和 C 上取得 83%,64%和 47%的 F1 分数。
May, 2023
基于自然语言处理和人工智能的反性别歧视警报系统可分析任何公共帖子,判断是否为性别歧视评论,提供类似于交通灯的颜色系统来判断整体帖子中是否存在性别歧视,该系统在西班牙语标记数据集上训练,并取得了很好的性能表现。
Nov, 2023
我们展示了如何利用影响分数来估计在训练模型和设计剪枝策略时数据点的重要性,应用于性别歧视检测案例中,我们评估了不同剪枝策略下训练的模型在三个领域外数据集上的性能,并发现大部分实例可以删除而不会显著降低性能,但我们还发现之前在自然语言推理任务中成功的剪枝数据策略不适用于检测有害内容,反而进一步加剧了已经普遍存在的类别不平衡问题,导致最坏情况下恶意类别完全消失。
Jun, 2024