Apr, 2023

HQP：用于检测在线宣传的人工注释数据集

PDF
TL;DR本研究针对现有在线宣传检测数据集标签噪声大甚至不正确的问题，提出了一个通过人工注释所得的高质量在线宣传检测数据集 HQP，其应用得到的检测效果在 state-of-the-art language models 中有了显著提高。同时，研究探讨了基于高质量标注的 few-shot learning 方法的应用。最终，本研究突显了高质量标注在敏感 NLP 任务中的重要性，为 NLP 社区在权衡标注质量和成本方面提供了启示。
online propagandadatasethuman annotationstate-of-the-art language modelsfew-shot learning
发现论文，激发创造
  • 揭露宣传：通过比较人类标注和机器分类的文体线索进行分析

    该研究调查了宣传语言及其风格特征，提出了 PPN 数据集，包括多源、多语言、多模态的新闻文章，从被专家机构确定为宣传来源的网站中提取。通过人工注释实验，结果表明人工注释者能够可靠地区分两种类型的新闻。本文提出了不同的自然语言处理技术，用于识别注释者使用的线索，并将它们与机器分类进行比较，包括衡量言语模糊性和主观性的分析工具 VAGO、作为基准的 TF-IDF 以及四种不同的分类器：两种基于 RoBERTa 的模型、使用语法的 CATS 和结合句法和语义特征的 XGBoost。

    Feb, 2024

  • 大型语言模型用于多标签宣传检测

    本研究通过提出的五种模型集成方法，针对包含 21 种宣传技巧的多标签文本分类任务有效地识别互联网宣传。最终在 WANLP 2022 共享任务中获得 59.73% 的微型 F1 分数，并进一步提出了未来的研究方向。

    Oct, 2022

  • QCRI-MIT 团队在 SemEval-2019 任务 4 中：宣传分析与超极端新闻检测相遇

    本文报道了我们在 SemEval-2019 任务 4 中提出的超级党派新闻检测系统，该系统主要使用一些原本用于检测宣传的工程特征。我们训练了一个基于逻辑回归模型的分类器，并使用从简单单词袋到词汇丰富度和文本可读性等特征来训练它。我们的系统在手动注释的测试数据上实现了 72.9% 的准确率，而在带有远程监督标注的测试数据上则实现了 60.8% 的准确率。另外的实验表明，使用更好的特征预处理可以大幅提高性能。

    Apr, 2019

  • 大型语言模型的宣传划分注释

    使用大型语言模型（如 GPT-4）作为标注员，通过提供更多信息来改善注释一致性和性能，从而进行检测宣传性文本片段的研究。

    Nov, 2023

  • 网络有害言论的多维度识别视角：不只是仇恨

    本文介绍了一种使用多个标签注释恶意在线言论的方法，强调了注释应该是细致、准确的。作者发布了一个高质量的数据集，使用六个标签注释了超过 40,000 条有关移民的推文，在此数据集上训练模型的表现优于基准数据集。

    Oct, 2022

  • GPT-4 能否识别宣传报道？新闻文章中宣传内容的注解和检测

    使用 GPT-4 大型语言模型对包含 6 种其他语言的传媒行文进行细粒度的宣传技术检测，结果显示该模型在不同语种的跨度检测任务中遇到困难，相比于用于宣传检测的不同分类层次的模型微调后，GPT-4 仍然远远落后。

    Feb, 2024

  • 伪造假新闻用于真假新闻检测：具有宣传性训练数据生成

    提出一种利用自我批评序列训练和宣传技巧生成更接近人类写作的文章，并创建了一份新的虚假新闻检测训练数据集 PropaNews，结果表明，使用 PropaNews 训练的检测器比使用现有方法生成的数据训练的检测器在检测人类撰写的虚假信息方面的准确性提高了 7.3％至 12.0％。

    Mar, 2022

  • 当涉及言语问题时：重新审视标记敏感内容的方法

    许多资源匮乏的语言需要具有高质量的特定任务数据集，例如辱骂语言检测、虚假消息或错误信息识别。本文从乌克兰推文的伪标记敏感数据的方法出发，重新审视了使用该方法的过程，重点关注俄乌战争相关主题。通过实验，突出了数据标注的三个主要阶段，并强调了机器标注过程中的主要障碍。最终，我们对获得的数据进行了基础统计分析，并对用于伪标记的模型进行了评估，提供了进一步指导，以便科学家能在不涉及标注人员的情况下利用语料库进行更高级的研究和扩展现有数据样本。

    Nov, 2023

  • 大型语言模型用于宣传检测

    探测在数字化社会中广告宣传的普及给社会和真相的传播带来了挑战，通过 NLP 在文本中检测广告宣传是具有挑战性的，我们研究了现代大型语言模型（LLMs）如 GPT-3 和 GPT-4 在广告宣传检测中的有效性，并对使用 SemEval-2020 任务 11 数据集进行了实验，该数据集的新闻文章被标记为 14 种广告宣传技术的多标签分类问题，使用了五种不同的 GPT-3 和 GPT-4 变体，其中包括不同模型之间的各种提示工程和微调策略，通过评估 $F1$ 分数，$Precision$ 和 $Recall$ 等指标来评估模型的性能，并将结果与使用 RoBERTa 的当前最先进方法进行比较，我们的研究结果表明 GPT-4 达到了与当前最先进方法相当的结果，此外，本研究分析了 LLMs 在复杂任务如广告宣传检测中的潜力和挑战。

    Oct, 2023

  • 一个用于在线仇恨言论干预学习的基准数据集

    本文提出了一项生成式仇恨言论干预的新任务，并介绍了从 Gab 和 Reddit 收集的两个全标记的大规模仇恨言论干预数据集，该数据集提供了对话段、仇恨言论标签以及 MTurk Workers 编写的干预响应，此外，本文还分析了这些数据集以了解常见的干预策略，并探索常见的自动响应生成方法在这些新数据集上的性能以提供未来研究的基准。

    Sep, 2019