用跨语言检索方法提升跨语言事实核查
本论文提出了一个新的多语言数据集 MultiClaim,其中包含 28k 个社交媒体帖子和 206k 个来自专业事实核查人员写的 39 种语言的事实核查。我们评估了不同的非监督方法在这个数据集上的效果,并显示对这样一个多样化的数据集进行评估具有复杂性,需要在解释结果之前采取适当的措施。我们还评估了一种监督微调方法,显著提高了非监督方法的性能。
May, 2023
通过引入 FCTR 数据集,本研究通过跨语言转移学习评估大语言模型在土耳其语上的上下文学习(零样本和少样本)表现,结果表明该数据集有可能推动土耳其语研究的进展。
Mar, 2024
本文研究如何使用现有数据集训练 Twitter 消息的不同语言的验证价值模型。通过使用多语言 BERT 模型,我们系统地比较了六种方法。结果表明,对于一些语言对,零 - shot 跨语言转移是可能的,并且可以与在目标语言上训练的单语模型一样好。
Nov, 2022
本研究介绍了 X-FACT 数据集,这是目前最大的公开的多语言事实验证数据集,其中包含 25 种语言的短语句,并由专业事实检查者标记真实性,数据集包含多语言评估基准测试,并使用现代化的多语言变压器模型开发了多个自动事实检查模型,实证表明模型的最佳性能 F1 分数约为 40%,因此是评估多语言事实检查模型的挑战性基准测试。
Jun, 2021
该研究创建了一个跨 23 种不同语言的多语言基准测试,旨在评估语言模型中的事实知识检索能力,并提出了基于语言切换的方法来提高多语言模型获取知识的能力。
Oct, 2020
通过创建新数据集、使用跨语言查询和提出多阶段框架,本文在横跨不同领域和零 - shot 学习中实现了已证伪叙述的跨语言检索任务。结果表明,这是一项具有挑战性的任务,但多阶段检索框架表现出鲁棒性,在大多数情况下胜过了 BM25 基线,并且在不显著损害模型性能的情况下进行了跨领域和零 - shot 学习。
Aug, 2023
本研究提出 Cross Lingual Fact Extraction(CLFE)的任务,并针对使用自然低资源语言文本提出了一种端到端生成性方法,可实现 77.46 的整体 F1 分数。
Feb, 2023
通过使用跨语言开放检索问题回答,扩展多语言问答任务,解决信息匮乏和信息不对称问题。在 TyDi QA 上构建了一个大规模数据集,并建立了三个跨语言文档检索任务的基线。利用机器翻译系统和跨语言预训练模型,在实验中得出 XOR QA 是一个具有挑战性的任务,将促进多语言问答技术的开发。
Oct, 2020
提出两种无监督对齐方法,建立英语结构化的事实与低资源语言句子的有效交叉生成,构建了包含 0.45M 对跨越 8 种语言的 XAlign 数据集,其中有 5402 种对进行了手动标注,并在该数据集上训练了强大的基线 XF2T 生成模型。
Feb, 2022
通过将 Fact Extraction and Verification (FEVER) 数据集的索赔和证据文本翻译成六种语言,我们构建了用于比较不同语言上事实验证模型的跨语言事实提取和验证(XFEVER)数据集。使用 XFEVER 数据集,本文定义了两种跨语言事实验证场景,即零样本学习和翻译训练学习,并提出了每个场景的基准模型。实验结果显示,多语言语言模型可以有效地构建不同语言上的事实验证模型,但性能因语言而异,相对英文情况稍差。我们还发现,通过考虑英语和目标语言之间的预测相似性,可以有效地减轻模型的误差校准问题。XFEVER 数据集、代码和模型检查点可在此 https URL 中获取。
Oct, 2023