Apr, 2020

UHH-LT 在 SemEval-2020 任务 12 中：针对攻击性语言检测的预训练 Transformer 网络微调

PDF
TL;DR本文采用预训练 transformer 网络，使用无监督的 MLM 任务进行微调，提高该网络在检测攻击性语言的任务上的性能，取得可观的成果。
pre-trained transformer networksfine-tuningunsupervised learningmasked language modeling, offensive language detection
发现论文，激发创造
  • 基于 BERT 的阿拉伯语攻击性语言检测系统微调方法

    研究旨在通过应用最新技术，检测网络攻击性言论，保护在线社区成员并维护社会公正。通过对多个阿拉伯语攻击性言论数据集的微调，研究探究了微调对分类器的效果，结果表明，特别是在高方言评论方面，传递学习对分类器的性能有限影响。

    Feb, 2022

  • Kungfupanda 于 SemEval-2020 12 任务：基于 BERT 的多任务学习用于冒犯性语言检测

    本篇研究论文针对社交媒体中的攻击性内容建立一个结合多任务学习和以 BERT 为基础的模型的系统，利用预训练的 BERT 语言模型有效地学习社交媒体中包含噪音的文本的表示，同时利用其他相关任务的监督信号来提高攻击性语言检测的性能，在 OffensEval-2020 比赛中，我们的模型在英文子任务 A 中达到了 91.51％的 F1 得分，相当于第一名（92.23％F1），同时提供了经验分析来解释我们方法的有效性。

    Apr, 2020

  • 多语言冒犯性语言识别的文本对文本模型

    社交媒体上冒犯内容的普遍存在是公司和政府组织越来越关注的问题。本研究提出了第一个具有编码器 - 解码器结构的预训练模型，用于冒犯语言识别，并在两个大型冒犯语言识别数据集（SOLID 和 CCTK）上训练。研究结果表明，预训练的 T5 模型在多个英文基准测试中优于其他基于变压器的模型，在多语言场景中，多语言预训练模型在所有上述数据集上实现了新的最优表现。

    Dec, 2023

  • 用于多生成器、多领域和多语言机器生成文本检测的细调大型语言模型

    SemEval-2024 Task 8 引入了识别多语言和领域中大型语言模型（LLMs）生成的机器文本的挑战。本文关注于二元分类和多类分类的子任务，并通过传统机器学习和自然语言处理进行特征提取以及基于 LLMs 进行文本分类的两种方法进行解决，结果显示变压器模型，尤其是 LoRA-RoBERTa，在多语言环境中使用多数表决方法能够高效地识别机器生成的文本。

    Jan, 2024

  • 使用选择性屏蔽作为预训练和微调之间的桥梁

    该研究提出了一种使用任务特定掩码的方法，通过修改预训练的 BERT 模型来适应下游任务。研究结果表明，这种选择性掩码策略优于随机掩码，具有较好的效果。

    Nov, 2022

  • FBERT: 用于识别攻击性内容的神经变换器

    本文提出了 fBERT，这是一个在 SOLID 上重新训练的 BERT 模型，用于鉴定社交媒体中的冒犯内容和仇恨言论。fBERT 的性能通过对多个英文数据集的测试得到验证。

    Sep, 2021

  • KUISAIL 在 SemEval-2020 任务 12 中：基于 BERT-CNN 在社交媒体中识别冒犯性言论

    本文介绍了使用预训练 BERT 模型与卷积神经网络，处理 OffensEval 2020 任务 A（多语言攻击性语言识别）子任务的方法，并表明结合 CNN 和 BERT 比仅使用 BERT 更好，强调了利用预训练语言模型进行下游任务的重要性。我们排名第四，在阿拉伯语平均宏 F1 得分为 0.897，在希腊语得分为 0.843，在土耳其语得分为 0.814。另外，我们介绍了 ArabicBERT，一组针对阿拉伯语的预训练 transformer 语言模型，并与社区分享。

    Jul, 2020

  • 如何为文本分类微调 BERT?

    研究 BERT 语言模型在文本分类任务上的微调方法，提供一般的解决方案，并在 8 个广泛研究的文本分类数据集上取得了最新的最好结果。

    May, 2019

  • 使用 Transformers 从多语代码混合文本中检测攻击性言论

    本论文提出了一种多语言自动化系统，使用机器学习和转换器来从混合语言的数据中识别带有冒犯性的文本，并在 Tamil、Malayalam 和 Kannada 三种语言的数据集上进行了测试。结果表明，该系统在不同语言上表现出不同的最佳表现方法，得分最高的是 m-BERT（Kannada）和 XLM-R（Tamil 和 Malayalam），系统性能达到了一定的水平。

    Feb, 2021

  • 基于 Transformer 的细调编码器在土耳其语言理解任务中的应用

    我们在这项研究中，为土耳其语提供了基于 Transformer 模型的 BERTurk 模型，并进行了多个下游任务的微调和评估，包括命名实体识别、情感分析、问题回答和文本分类。与其他基线方法相比，我们的研究在土耳其语中显著提高了性能，并公开发布了这四个微调模型和资源，以支持其他土耳其研究人员和应用。

    Jan, 2024