ACLFeb, 2021

利用基于 BERT 的标记分类和跨度预测技术进行有毒跨度检测的 SemEval-2021 任务 5 的 NLRG

PDF
TL;DR该研究探讨了基于 BERT 的模型在 SemEval-2021 毒性跨度检测任务中的性能，研究了多种模型，包括 Token 分类或跨度预测，最佳模型达到 F1 得分 0.6753，在基线模型上提高了 3%。
toxicity detectionnlp tasksemeval-2021bert-based modelshybrid approaches
发现论文，激发创造
  • HLE-UPC 在 SemEval-2021 任务 5 中的表现：用于检测有害语句的多层 DistilBERT

    研究使用多深度 DistilBERT 模型来检测文本中的有毒片段，定量结果表明使用多个深度的嵌入可提高模型性能，并定性分析了最佳模型。

    Apr, 2021

  • SemEval-2021 任务 5：使用命名实体识别和问答方法进行有害语段检测的 UIT-E10dot3

    该研究通过命名实体识别和问答结合分析 SemEval-2021 的毒性评论任务，提高了评论毒性区分的准确性。

    Apr, 2021

  • MIPT-NSU-UTMN 参加 SemEval-2021 第 5 项任务：使用预训练语言模型进行有毒片段检测的集成学习

    本文描述了我们基于 BERT 神经架构和后处理方法的集成模型，在 SemEval-2021 任务 5 的毒性跨度检测中应用的系统。我们使用多种集成技术对多个预训练语言模型进行了评估，实现了相当大的改进，并在测试数据上获得了 67.55％的 F1 分数。

    Apr, 2021

  • 2021 年 SemEval 第 5 任务：毒性在哪里？：利用 Transformer 从在线评论中提取多个毒性段

    该论文描述了 Cisco 团队提出的用于发现英文文本中的有毒段落的系统，该系统主要采用了序列标注和依赖解析方法，并提供了其结果和模型表现的详细分析。

    May, 2021

  • SemEval-2021 第 5 项任务：使用 BERToxic 进行仔细检测仇恨言论的孤松松树算法

    该研究描述了 Toxic Spans Detection 问题的解决方法，其中使用 BERToxic 系统，通过微调预训练的 BERT 模型来定位给定文本中的有害文本段，并利用附加后处理步骤来优化其性能。

    Apr, 2021

  • UoT-UWF-PartAI 参加 SemEval-2021 任务 5：基于自注意力的双向门控循环神经网络和多嵌入表示的毒性突出器

    本文提出一种基于自注意力的双向门控循环单元（BiGRU），采用多嵌入表示的令牌结合 GPT-2，GloVe 和 RoBERTa 嵌入，有效地检测范围令牌。

    Apr, 2021

  • CLaC 参加 SemEval-2023 任务 2：比较基于区间预测和序列标注的命名实体识别方法

    综述了 Complex, fine-grained named entities 的识别问题，并比较了 Sequence Labeling 和 Span Prediction 两种 NER 方法。发现使用较大版本的 XLM-RoBERTa 可以显著提高性能。实验表明，在使用 XLM-RoBERTa 的特殊输入 tokens （<s> 和 </s>）时，Span Prediction 和 Sequence Labeling 方法可以进一步改善。

    May, 2023

  • SpanBERT：通过表示和预测跨度来提高预训练

    本论文提出了 SpanBERT 预训练方法，扩展了 BERT 的掩蔽方式和训练方式，使其在跨度选择和指代消解等任务中表现出比 BERT 和基线更优秀的性能，包括在 SQuAD、OntoNotes 和 TACRED 等各种基准测试上都取得了更好的结果。

    Jul, 2019

  • 文本跨任务跨度表示的分析

    本文通过对六种跨度表示方法和八个预训练语言模型在六个任务中的综合实证评估，发现即使有些简单跨度表示在多个任务中相对可靠，但一般来说最优跨度表示方法因任务而异，也可能因不同任务的不同方面而异。同时，我们还发现，与精细调整的编码器相比，跨度表示的选择对于预先训练的编码器具有更大的影响。

    Jun, 2020

  • 跨範疇聯合實體關係提取多任務學習中處理負樣本

    该研究论文介绍了一种基于跨度的多任务实体 - 关系联合提取模型，通过多任务学习和位置信息的引入，有效地减轻了负样本对模型性能的负面影响，同时在广泛应用的公共数据集 CoNLL04、SciERC 和 ADE 上取得了令人称赞的 F1 得分。

    Sep, 2023