基于任务意识缓解负迁移的性别歧视、仇恨言论和有害语言检测

Jul, 2023

基于任务意识缓解负迁移的性别歧视、仇恨言论和有害语言检测

Mitigating Negative Transfer with Task Awareness for Sexism, Hate Speech, and Toxic Language Detection

Angel Felipe Magnossão de Paula, Paolo Rosso, Damiano Spina

TL;DR本文提出了一种新颖的方法来减轻负迁移问题，通过任务意识的概念来实现，在检测文本评论中的性别歧视、仇恨言论和有害语言方面取得了最新的技术水平。

Abstract

This paper proposes a novelty approach to mitigate the negative transfer problem. In the field of machine learning, the common strategy is to apply the Single-Task Learning approach in order to train a supervised model to solve a specific task. Training a robust model requires a lot of data and a significant amount of computational resources, making this sol

negative transfer problem multi-task learning task awareness concept sexism detection hate speech detection

发现论文，激发创造

扩散模型中负迁移问题的解决

本研究旨在从多任务学习 (MTL) 的角度分析扩散训练，提出了两个观察结果和应对负迁移的方法。我们通过对噪声去除任务进行训练，借助区间聚类将大量任务分为小块，并利用 MTL 方法提高样本质量。

Jun, 2023

社交媒体仇恨言论检测的迁移学习

本文介绍了一种机器学习和自然语言处理模型，通过自动识别网页文本中的仇恨言论以及利用迁移学习技术构建了一个识别仇恨言论的表示方法，并开发了一个可视化工具用于多个数据集的简要分析。

Jun, 2019

多语言辅助任务训练：缩小语言之间的差距，实现仇恨言论检测模型的零 - shot 迁移

本文研究了零 - shot 语言跨域转移学习在对抗言检测等任务中所面临的挑战，并提出使用多语种辅助任务（情感分析、命名实体识别和依靠语法信息的任务）进行训练，以提高模型的零 - shot 转移到不同语言的能力，最终实现跨语言之间的言语和文化差异的缩小。

Oct, 2022

负迁移的特征及其避免

研究传输学习中不同源数据对目标任务的影响，提出了负传输的正式定义，并通过对抗网络设计了一种过滤无关源数据的技术，用于解决负传输问题，在实验中该方法能够显著提高基线方法的性能并避免负面影响。

Nov, 2018

负迁移调查

本文提出了一个系统化的对负迁移的定义及其影响因素、减少负迁移算法的调查，涵盖了安全迁移、领域相似度估计、远距离迁移和负迁移减缓四个方面，并探讨了在多任务学习、终身学习和对抗攻击等相关领域中的负迁移

Sep, 2020

基于 BERT 的在线社交媒体仇恨言论检测的迁移学习方法

本研究提出了一种基于 BERT 和 Transfer Learning 的新型方案，以捕获社交媒体内容中的仇恨语境，并证明该方案能有效解决标注数据不足和存在偏差的问题，使得模型性能得到提升。

Oct, 2019

不确定性损失降低非对称多任务特征学习的负迁移

本文提出了一种解决多任务学习中负迁移问题的方法 —— 不对所有任务赋予相等的影响，而是根据任务损失和可信度进行加权处理，在两个数据集上的实验表明该方法能够有效减少负迁移，提高多任务学习的鲁棒性。

Dec, 2020

多任务学习在毒性评论检测中降低模型偏差的实证分析

该论文评估了多种最先进的模型，特别关注减少模型对一些少数群体的偏见，提出了一个多任务学习模型以及一系列深度学习模型，并使用特定的指标测试这些身份群体中意料之外的模型偏见。

Sep, 2019

使用多任务学习在未见领域检测仇恨言论：政治公众人物的案例研究

使用多任务学习模型，构建更全面的分类模型，并在新的未知数据集上进行预测，结果表明性能优于现有工作。同时，提出了一个名为 PubFigs 的新数据集，关注美国公共政治人物的问题言论，并自动检测其言论中的问题内容，并揭示了公众人物的发布行为。

Aug, 2022

迈向稳健高效的持续语言学习

本文提出了一种针对任务序列的基准测试，旨在从持续学习和迁移学习的角度探讨如何快速适应新任务和模型微调策略。同时，提出了一种简单而有效的学习器，通过选择性策略初始化新模型并从过去的任务检查点中获得最大利用信息的能力。

Jul, 2023