使用世界语言和适配器融合进行多语言的检测可检验证主张
本文研究如何使用现有数据集训练 Twitter 消息的不同语言的验证价值模型。通过使用多语言 BERT 模型,我们系统地比较了六种方法。结果表明,对于一些语言对,零 - shot 跨语言转移是可能的,并且可以与在目标语言上训练的单语模型一样好。
Nov, 2022
自动事实核查引起了过去几十年的广泛关注, 由于在线平台上虚假信息的扩散增加。本调查主要关注多语言数据和方法,讨论现有努力检测需求核查的言论。我们提出了一项综合调查,介绍了最新的多语言言论检测研究,主要涉及可验证性,优先级和相似性三个问题因素。此外,我们详细概述了现有的多语言数据集,以及存在的挑战,并提出可能的未来发展方向。
Jan, 2024
本研究比较了经过调整的模型和极大语言模型在可检测可信度主张的任务中的性能。通过使用包含不同来源和风格的文本构建了一个多语种和多主题数据集,并基于此进行了基准分析,确定了最通用的多语种和多主题主张检测器。我们选择了三个最先进的模型进行了可检测可信度主张任务的调整,并选择了三个无需任何调整的最先进极大语言模型。通过对模型进行修改以适应多语种环境,并进行了广泛的实验和评估。在域内和跨域情景中,我们评估了所有模型的准确性、召回率和 F1 分数。我们的结果表明,尽管在自然语言处理领域取得了技术进步,但针对可检测可信度主张任务的调整模型在跨域设置中仍然优于零样本方法。
Nov, 2023
本文针对不同主题下识别值得检查的权利要求的挑战进行了评估和量化,提出了 AraCWA 模型来减轻跨主题检测具有检查价值权利要求时的性能下降,该模型通过少量学习和数据增强来为新的主题提高性能,并使用公开数据集的阿拉伯语推文,为不同的主题证明了文章提出的数据增强策略取得了显著的改进。
Dec, 2022
本论文提出了一个新的多语言数据集 MultiClaim,其中包含 28k 个社交媒体帖子和 206k 个来自专业事实核查人员写的 39 种语言的事实核查。我们评估了不同的非监督方法在这个数据集上的效果,并显示对这样一个多样化的数据集进行评估具有复杂性,需要在解释结果之前采取适当的措施。我们还评估了一种监督微调方法,显著提高了非监督方法的性能。
May, 2023
为了解决低资源语言事实核查数据集的缺乏问题,我们提出了一种跨语言检索的事实核查框架,该框架利用我们提出的自监督算法,使用翻译的文章标题来创建训练实例,并在多种语言下实现证据的汇集。在 X-Fact 数据集上,我们的方法在零 - shot 跨语言设置下,在绝对 F1 上获得了 2.23% 的改进。
Sep, 2022
该研究讨论了声明匹配作为扩大事实核查的可能解决方案,通过使用知识蒸馏和高质量的教师模型训练自己的嵌入模型来改善低资源语言在数据集中嵌入质量的不平衡,并与现有的多语言嵌入模型进行比较,证明在所有设置中超过了现有的解决方案,并释放注释数据集和嵌入模型以供进一步研究。
Jun, 2021
应用八个突出的开源语言模型(LLMs)通过精调和提示工程来从政治转录中识别值得检查的陈述,并通过两步数据修剪方法自动识别高质量训练数据实例,能够在 CheckThat!2024 的英语语言数据集方面展示有效学习和竞争性性能。
Jun, 2024
通过使用零 - 和少 - 次学习模型,将事实和价值评估标准直接用于提示,我们评估了 LLM 在五个不同领域的声明检测和可信度检测数据集上的预测和校准准确性,并发现最佳的提示详细程度取决于领域,提供上下文信息并不改善性能,可信度评分可以直接用于生成可靠的评级。
Apr, 2024
本研究使用多语言变换器模型和嵌入技术(如 XLM-RoBERTa、LaBSE 和 SBERT 等)自动寻找社交媒体帖子(推文)中已经被事实检查过的主张。在不同语言设置中,我们进行了分类和检索实验,并取得了令人满意的结果。我们也发现处理不同语言时存在一些 NLP 挑战,并为未来的研究提供了一个新的事实检查和相应推文的数据集。
Feb, 2022