Oct, 2023

用于分类现实世界在线服务中的有偏见言论的大规模韩文文本数据集

PDF
TL;DR我们引入了一个来自韩国著名 SNS 平台的全面、大规模数据集，该数据集提供了对文本样本的三种注释：（1）偏好，（2）亵渎，和（3）九种偏见类型，实现了用户生成文本的多任务学习的同时分类。通过利用最先进的基于 BERT 的语言模型，我们的方法在各种度量标准下超越了人类水平的准确性。除了学术贡献，我们的工作可以为实际的仇恨言论和偏见减轻提供实际解决方案，直接有助于提升在线社区的健康。我们的工作为未来旨在提高在线话语质量和促进社会福祉的研究奠定了坚实的基础。所有源代码和数据集都可以在此 https 链接上公开访问。
text classification algorithmssentiment analysisbiased text detectionsouth korea hate speech detectionlarge-scale dataset
发现论文，激发创造
  • 韩国在线新闻评论语料库用于毒性言论检测

    本文旨在确定韩语毒性言论，提供了相关数据集，并使用 CharCNN、BiLSTM 和 BERT 三种模型进行分析和预测，结果显示 BERT 在所有任务中表现最佳。

    May, 2020

  • 面向多标签分类的韩国在线仇恨言论数据集：社会科学如何改进仇恨言论数据集？

    我们提供了一个多标签的韩国在线仇恨言论数据集，考虑了文化和语言背景，建议了从社会科学角度构建更具多元文化背景的仇恨言论数据集的方法。基于 2.4 万的数据集测试模型，经过结合 1.1 万个额外数据，模型的 LRAP 准确率从 0.892 提高至 0.919。

    Apr, 2022

  • 一个新的韩文文本分类基准，用于识别在线报纸中的政治意图

    在这项工作中，我们关注通过理解文本的上下文来自动识别给定在线报纸的政治意图。为了解决这个问题，我们提出了一个新颖的韩文文本分类数据集，其中包含各种文章，并提供了在该数据集上训练的基于深度学习的文本分类基线模型。

    Nov, 2023

  • K-MHaS：韩国在线新闻评论中的多标签仇恨言论检测数据集

    介绍了适用于韩语模式的多标记数据集 K-MHaS，基于六种不同的指标使用韩语 BERT 模型进行评估，其中具有子字符令牌化器的 KR-BERT 优于其他模型。

    Aug, 2022

  • 孟加拉语仇恨言论检测：数据集及其基准评估

    本文针对社交媒体上孟加拉语仇恨言论检测的挑战，通过众包标注和专家验证构建了一个包含 30,000 条用户评论的数据集，并利用多个深度学习模型对其进行了实验。结果表明将 SVM 用于该数据集能够获得 87.5% 的准确率，该数据集将推动孟加拉语仇恨言论检测领域的未来研究机会。

    Dec, 2020

  • K-HATERS：针对特定目标的韩文仇恨言论检测语料库

    本研究介绍了 K-HATERS，这是一种用于韩文中仇恨言论检测的新语料库，其中含有大约 192K 个新闻评论，附有针对特定目标的冒犯程度评分。该语料库是韩文中最大的冒犯性语言语料库，是首个提供针对三级李克特量表的特定目标评分的语料库，能够检测韩文中不同程度的仇恨表达。我们进行实验来展示该语料库的有效性，并与现有数据集进行比较。此外，为了解决人类注释中的潜在噪声和偏差，我们探索了一种新颖的想法，即采用认知反思测试作为标签质量的代理。研究结果表明，得分最低的个体的注释往往会导致针对特定目标群体的预测模型存在偏差，且准确性较低。本研究对于仇恨言论检测和资源构建的自然语言处理研究具有重要贡献。您可以在该 URL 访问代码和数据集。

    Oct, 2023

  • KoSBI：减少社会偏见风险的数据集，以更安全的大型语言模型应用为目标

    通过构建本土化社会偏见数据集，可以减少韩国大型语言模型的社会偏见，有效地保证其安全、可靠、有效地部署。

    May, 2023

  • 检测有毒语料库中的意外社会偏见

    本研究介绍了一个新的数据集 ToxicBias，这是从 Kaggle 竞赛中现有的数据集 “Jigsaw Unintended Bias in Toxicity Classification” 中精心策划的，旨在检测社交偏见及其类别和目标群体。我们使用我们策划的数据集对基于转换器的模型进行训练，并报告了偏见识别、目标生成和偏见影响的基线性能。研究还详细讨论了模型偏见及其缓解。

    Oct, 2022

  • LAHM：用于多领域和多语言仇恨言论识别的大型注释数据集

    本文介绍一种新的多语言仇恨言论分析数据集，涵盖了英语、印地语、阿拉伯语、法语、德语和西班牙语等六种语言，针对辱骂、种族主义、性别歧视、宗教仇视和极端主义等五大领域进行多角度分类，采用多任务学习方法对数据进行测试，以期提高仇恨言论检测和分类的准确性。

    Apr, 2023

  • 探索大型语言模型中的注释者偏见对仇恨言论检测的影响

    通过分析 GPT 3.5 和 GPT 4o 在标注仇恨言论数据时存在的偏见，本研究对性别、种族、宗教和残疾等四个主要类别中高度脆弱的群体进行了偏见分析，并通过对标注数据的仔细审查，全面研究了可能导致这些偏见的潜在因素。该研究为指导研究人员和从业者充分利用大语言模型进行数据标注，从而推进这一关键领域的进展提供重要资源。

    Jun, 2024