EMNLPNov, 2023

ArAIEval 共享任务中的 MAVERICKS：构建更安全的数字空间 -- 转换器集成模型解决欺骗与说服

PDF
TL;DR我们在本文中重点介绍了我们为《2023 年阿拉伯语 AI 任务评估（ArAiEval）共享任务》开展的方法。我们提出了针对共享任务的任务 1-A 和任务 2-A 的方法，重点是说服技巧检测和虚假信息检测。检测说服技巧和虚假信息已成为避免真实信息扭曲的必要手段。该任务使用多种体裁的推文和新闻文章来进行给定的二元分类问题。我们尝试了在阿拉伯语上预训练的几种基于 Transformer 的模型，并在提供的数据集上进行了微调。我们采用集成方法来提高系统的性能。我们在任务 1-A 上获得了 0.742 的微平均 F1 分数（排行榜第 8），在任务 2-A 上获得了 0.901 的微平均 F1 分数（排行榜第 7）。
arabic ai tasks evaluationpersuasion technique detectiondisinformation detectionmultigenre snippetstransformer-based models
发现论文，激发创造
  • ArAIEval 共享任务：阿拉伯语文本中的说服技巧和虚假信息检测

    介绍了 ArAIEval 共享任务的概述，该任务主要包括通过检测推文和新闻文章中的说服技巧来识别说服技巧，并通过推文中的二进制和多类别设置来检测虚假信息。

    Nov, 2023

  • Nexus 在 ArAIEval 共享任务中：为宣传和虚假信息检测微调阿拉伯语言模型

    在这篇论文中，我们讨论了我们参与阿拉伯语环境下 ArAIEval 共享任务的情况，我们在子任务 1A 和 2A 中分别获得了第 9 和第 10 的名次。我们的实验包括对转换器模型进行微调，并使用 GPT-4 进行零样本和少样本学习。

    Nov, 2023

  • ArAIEval 共享任务传说：使用一种语言无关的文本表示模型进行说服技巧检测

    本文介绍了我们在 ArabicNLP 2023 的 ArAIEval 挑战中的最佳提交结果，我们主要关注任务 1，该任务涉及从推特和新闻文章的摘录中识别说服技巧，我们使用 XLM-RoBERTa 进行训练，并在阿拉伯语文本中检测到说服技巧。通过微调多语言语言模型，这种方法表现出很强的效果。在测试集评估中，我们在子任务 A 中取得了 0.64 的微观 F1 分数。

    Oct, 2023

  • 基于 Transformer 和集成方法的阿拉伯语仇恨言论检测解决方案

    本研究描述了我们参与 CERIST NLP Challenge 2022 的 hate speech detection 共享任务的情况，通过六种 transformer 模型和两种集成方法的组合来评估我们的实验效果。我们使用基于多数投票的组合方法在五倍交叉验证方案中取得了最佳结果。该方法在测试集上的评估表明，F1-score 为 0.60，准确度为 0.86。

    Mar, 2023

  • 2023 年 NADI 共享任务中的 Mavericks：使用基于 Transformer 的方法解开方言辨识中的区域细微差别

    该研究提出了对 “Nuanced Arabic Dialect Identification (NADI) Shared Task 2023” 的方法，着重介绍了处理与国家级方言识别相关的子任务 1 的方法。该研究利用使用涵盖 18 种方言的 Twitter 数据集（TWT-2023）进行多类别分类问题的研究，采用基于 transformer 的预训练模型进行国家级方言识别，并利用集成方法提高了系统的性能，在测试数据集中取得了 76.65 的 F1 得分（排名第 11 位）。

    Nov, 2023

  • 基于 Transformer 的低资源增强集成方法在古兰经问答 2023 共享任务中的应用

    我们提出了一种处理古兰经 QA 2023 共享任务 A 和 B 的方法，通过迁移学习和投票集成来提高预测的稳定性。此外，我们针对两个任务使用不同的架构和学习机制，采用一系列基于阿拉伯语预训练变换器的模型。我们提出了一种阈值机制来识别无法回答的问题。在隐藏拆分上，我们的最佳系统大大超过基准性能，A 任务 MAP 得分为 25.05％，B 任务部分平均精度 (pAP) 为 57.11％。

    Jan, 2024

  • 基于 Transformer 和迁移学习的多模态事实核查：UofA-Truth @ Factify 2022

    本文介绍了我们的方法，针对多模式信息传播中的虚假新闻进行了自动化的网络谣言 / 虚假信息检测，最终我们在 De-Factify@AAAI2022 FACTIFY 机器学习竞赛中获得了第四名，F1-score 为 74.807%。

    Jan, 2022

  • 基于 Transformer 的集成模型对 AI 生成的文本进行检测

    本论文介绍了我们团队 “SynthDetectives” 在 ALTA 2023 共享任务中的提交情况。我们采用了一种堆叠 Transformer 模型的方法来实现 AI 生成文本的检测任务。我们的方法在模型选择上是新颖的，因为我们使用了易于访问和轻量级的模型进行集成。我们展示了模型集成相比单独使用模型能够提高准确性的结果。在共享任务组织者提供的官方测试数据上，我们的方法达到了 0.9555 的准确得分。

    Oct, 2023

  • 应对 COVID-19 疫情谣言的变压器技术

    本文提出了在 NLP4IF-2021 共享任务中使用 transformers 对社交媒体上的虚假信息进行检测的方法，并在三种语言的数据集中取得了第四的好成绩，分别为阿拉伯语 0.707，保加利亚语 0.578 和英语 0.864。

    Apr, 2021

  • QCRI 参加 SemEval-2023 任务 3：使用多语言模型检测新闻体裁、框架和说服技巧

    此研究旨在解决在线新闻传播中存在的虚假信息扩散的问题，使用 SemEval-2023 Task 3 来分析和验证新闻文章中的写作技巧，以影响读者的观点，研究结果表明我们的系统在 27 个测试中位列前三。

    May, 2023