GD-COMET:一种地理多样化常识推理模型
利用扩散学习重建叙事背景和相关常识之间的内在语义联系,我们开发了一系列以 DiffuCOMET 为基础的知识模型,为推断上下文相关和多样性常识提供了一种解决方案。我们的方法逐步优化了与叙事相关的常识事实表示,产生了与输入上下文相关且多样化的常识推论。在 ComFact 和 WebNLG + 两个基准测试上的结果表明,DiffuCOMET 产生的常识在常识多样性、上下文相关性和与已知参考文献的一致性方面的平衡优于基准知识模型。
Feb, 2024
本文构建了 Geo-Diverse Visual Commonsense Reasoning(GD-VCR)数据集,以测试视觉 - 语言模型理解文化和地理位置特定常识的能力。通过研究两种最先进的视觉 - 语言模型,我们发现它们对于非西方地区的性能显着低于西方地区,并分析了性能差异背后的原因。
Sep, 2021
我们提出了 COMET,一种生成通用语言的丰富多样的常识知识描述的模型,并在 ATOMIC 和 ConceptNet 这两个通用常识图的自动知识库构建方面取得了优秀的结果。
Jun, 2019
COMET 是一种元学习方法,通过学习沿着可解释的人类概念维度的模式知识,从而改进泛化能力,而不是学习一个联合的无结构度量空间。在各种领域中的少样本任务中,COMET 的表现优于强元学习基线,且提供模型预测背后的解释。
Jul, 2020
我们提出了一种任务,即基于语篇的通识推理,在保持与叙述其余部分的一致性的同时,在预定义的维度上生成常识推断。使用可用的句级注释,我们有效且自动地构建了一个远程监督语料库,使用该语料库,我们训练了 PARA-COMET,这是一种基于语篇的模型,它捕获关于先前世界知识的语义知识和涉及如何将当前事件与叙述中先前和未来事件相关联的情节知识。我们的结果表明,PARA-COMET 在生成既连贯又新颖的推断方面优于句级基准。
Oct, 2020
介绍了 COMET,这是一个使用神经网络的多语言机器翻译评估模型,它利用了跨语言预训练语言建模的最新进展,通过同时使用源输入和目标语言的参考翻译来更准确地预测机器翻译的质量,并在 WMT 2019 指标共享任务中获得了新的最优表现,并展示了对高性能系统的鲁棒性。
Sep, 2020
NovaCOMET 提供了一个开放的常识知识模型,结合了知识和一般任务模型的最佳方面。与以前的知识模型相比,NovaCOMET 允许开放格式关系,可直接应用于推理任务;与 Flan-T5 等一般任务模型相比,它明确地聚焦于知识,从而实现了卓越的常识推理性能。
Dec, 2023
该研究提出了 COMET-M(Multi-Event),一个以事件为中心的常识模型,能够针对复杂句子中的目标事件生成常识推理,并通过 35K 人类撰写的推论数据集进行了实验验证,结果表明其在生成多事件推理方面具有优异的性能。
May, 2023
通过创建人工评估数据和简化的 MQM 指南,以及利用高资源语言的 DA 训练数据和 AfroXLM-Roberta 多语言编码器,我们解决了多语言机器翻译在非洲语言方面的挑战,并创建了最先进的评估指标 AfriCOMET,得到了与人工判断的 Spearman-rank 相关系数为 +0.406。
Nov, 2023
本研究旨在了解地理因素对语言模型的推理能力的影响,以特别强调印尼十一个不同省份内的多元文化。评估 23 种语言模型表明:(1)即使是最优秀的开源模型,准确率也只有 53.2%;(2)模型在某些特定省份(如巴厘岛和西爪哇)的预测通常更准确;(3)地理背景的加入提升了性能,尤其是在像 GPT-4 这样的大型模型中,强调了地理背景在常识推理中的重要性。
Apr, 2024