Jul, 2023

DWReCO 在 CheckThat! 2023 中通过基于样式的数据采样增强主观性检测

PDF
TL;DR我们使用 GPT-3 模型和基于新闻透视的主观性检查表的不同样式提示生成额外的训练材料，通过 fine-tune 语言特定的 Transformer 模型来解决任务中的类别不平衡问题，并证明不同主观风格在英语、德语和土耳其语的实验中都有效。此外，我们观察到在土耳其语和英语中，基于样式的过采样比释义更好。最后，当在非英语语言中生成基于样式的文本时，GPT-3 模型有时会产生平庸的结果。
subjectivity detectioncheckthat! labclass imbalancesgpt-3 modelslanguage-specific transformer models
发现论文，激发创造
  • Gpachov 在 CheckThat！2023 中的新闻文章主观性检测的多元多途径集成

    社交网络的广泛使用导致互联网上存在主观、误导甚至虚假信息。因此，主观性检测可以在确保信息的客观性和质量方面发挥重要作用。本文介绍了 Gpachov 团队在 CLEF-2023 CheckThat！实验室任务 2 中构建的解决方案，该解决方案涉及三个不同的研究方向，采用了微调句子嵌入编码器模型和降维、样本高效少样本学习模型以及多语言数据集上微调多语言转换器等方法，并通过简单多数投票集成的方式融合三种方法，在测试集上达到 0.77 的宏 F1，并在英语子任务上获得第二名。

    Sep, 2023

  • ThatiAR：阿拉伯新闻句子主观性检测

    本研究介绍了第一个用于阿拉伯语主观性检测的大型数据集，包括约 3.6K 个手动注释的句子，并基于 GPT-4o 提供解释。我们还提供了英语和阿拉伯语的说明以便进行基于 LLM 的微调，并进行了数据集、注释过程以及广泛基准测试结果的深入分析，包括预训练语言模型 (PLMs) 和 LLMs。我们的分析表明，注释者在注释过程的开始阶段受到其政治、文化和宗教背景的强烈影响。实验结果表明，具有上下文学习的 LLMs 表现更好。我们旨在向社区发布该数据集和资源。

    Jun, 2024

  • 英文新闻文章句子级主观性检测语料库

    该研究介绍了一个用于句子级别主体性检测的新语料库，其中包括英语政治事务的主观句子和客观句子，同时开发了新的标注指南和使用最新的多语言转换模型，使得该语料库能够用于英语和其他语言的主体性检测，并在其他语言丰富资源的情况下，提高了该任务的结果。

    May, 2023

  • QCRI 参加 SemEval-2023 任务 3：使用多语言模型检测新闻体裁、框架和说服技巧

    此研究旨在解决在线新闻传播中存在的虚假信息扩散的问题，使用 SemEval-2023 Task 3 来分析和验证新闻文章中的写作技巧，以影响读者的观点，研究结果表明我们的系统在 27 个测试中位列前三。

    May, 2023

  • 文本自动消除主观偏见

    本研究提出了一个新的自然语言生成平台，用于将带有主观倾向的文本转化为客观中立的文本，还提出了一个包含 180000 个句子对的重要语料库，并介绍了两种针对该任务的强大编解码器基线，同时进行了大规模人类评估，结果表明这些算法是自动识别和减少偏见的第一步。

    Nov, 2019

  • WeCheck：基于弱监督学习的强事实一致性检查器

    本文提出了一种弱监督框架 WeCheck，通过聚合多个资源进行训练，提高了文本生成模型的真实性度量。在多项任务上进行的综合实验表明，WeCheck 在 TRUE 基准测试中的表现优于现有的最先进方法，平均提高了 3.4％。

    Dec, 2022

  • 审计反火：用证据和风格评估先进的反驳生成

    我们提出了一个新颖的数据集，用于控制组成反驳论点，旨在进一步应用于论证的改进、挖掘和评估。

    Feb, 2024

  • Fraunhofer SIT 参加 CheckThat! 2023: 在检测值得性分类的例子中，使用模型放大来解决分类不确定性问题

    该论文描述了 Fraunhofer SIT 团队在 CLEF-2023 CheckThat！英语实验室任务 1B 中开发的第二名方法。他们通过利用集成分类方案来确定一个来自政治辩论的文本片段是否值得评估。在英语数据集上，他们的提交模型取得了 0.878 的整体 F1 分数，并在竞赛中排名第二。

    Jul, 2023

  • KUCST 参加 CheckThat 2023: 使用通用模型的高水平表现

    本文介绍了我们在 CheckThat2023 共享任务的任务 2 和任务 3A 中的方法。我们利用了一种通用方法，训练了许多机器学习模型，结果表明 Gradient Boosting 在两个任务中表现最佳，但整体表现与其他团队相当。

    Jun, 2023

  • 使用 GPT-3 进行零 - shot 意见摘要

    本文介绍了如何使用 GPT-3 对大量的用户评论进行零样本情感总结，探讨了一些通用方法并对不同方法的信念忠实度、准确性和通用性等多个角度进行评估。

    Nov, 2022