本文探讨了如何利用跨语境上下文词向量和迁移学习在使用资源较少的本地化语言中进行社交媒体中的冒犯内容检测,结果表明这个方法在孟加拉语、印地语和西班牙语等多种语言中的检测效率较高。
Oct, 2020
通过无监督主题模型和人工主题关键词检查,我们发现Wikipedia Detox数据集中温和的例子偏向于平台特定主题,移除这些主题可以提高跨数据集泛化能力,同时不会降低领域内分类性能,为了建立一个有效的数据集设计,我们建议在手动标注类标签之前,应用廉价的无监督方法检查收集的数据并减少不具有泛化能力的内容。
通过跨语境词嵌入和迁移学习,将预测扩展到低资源语言中,为即将面临的恶意内容提供了解决方案。
May, 2021
本文提出了一种注重异质性的辱骂评论的检测算法,使用带监督的注意机制和多任务学习来提高性能,并在一个包含11000条评论的YouTube数据集上进行了实验比较。
本文介绍了Google Jigsaw的Next-Gen Perspective API,它基于单个多语言无标记Charformer模型,可以应用于各种语言、领域和任务,展示了在多语言有毒评论分类基准测试中的广泛实验和评估结果,证明了该方法优于强基线,最后还介绍了如何部署到生产环境。
Feb, 2022
通过研究语言相似度对自动恶意语言检测的转移学习进行语言选择,为低资源语言构建更好的检测系统,实现零-shot检测。通过量化语言结构的世界地图,发现语言相似度与分类器性能之间存在相关性,进而选择最佳转移语言。
Jun, 2022
研究表明,通过了解社区背景,会显著提高现有的反滥用语言检测模型的分类性能,减少误报率。
本文旨在解决不同在线平台上滥用语言的检测问题,提出了一种基于SCL-Fish的监督对比学习集成元学习算法,具有领域泛化目标并比先前的算法更加高效和优越。
Nov, 2022
本文提出了一种两步法的方法,使用现有的包含多种任务相关的虐待性语言检测数据集进行多任务学习,再进行少量的适应性训练以针对新的标签集或语言。实验结果表明这种方法可以提高模型的性能,并且可以在不同语言中实现跨语言识别。
May, 2023
通过数据增强和持续的预训练,我们改善了跨语言辱骂语言检测的领域适应。数据增强策略对多领域和多语言环境下的零样本跨语言辱骂语言检测具有显著提升作用。然而,领域适应会有利于辱骂文本类的检测(降低误报),但同时也会降低辱骂语言检测模型的精确性。
Nov, 2023