探索外部知识以准确地建模视觉和语言问题
本文研究在于如何用外部的知识来丰富神经网络的自然语言推理模型,并展示了这些模型如何在 SNLI 和 MultiNLI 数据集上实现最先进的性能水平。
Nov, 2017
该论文探讨了使用外部知识作为计算机视觉系统训练的一种有效方法,并提出了一种名为 K-LITE 的策略,旨在通过使用 WordNet 和 Wiktionary 的知识来丰富文本数据从而提高图像识别和目标检测的性能。在 20 个数据集和 13 个不同的基准测试上,与现有方法相比,使用外部知识的知识增强模型表现出了更高的迁移学习性能。
Apr, 2022
研究了不同来源的外部知识对于解释性自然语言推断系统性能的影响,并发现不同的知识来源对于推理能力有不同的影响,同时进行了最大规模、最精细的可解释 NLI 众包研究,揭示了自动性能分数的巨大差异并没有反映在人的评分上。
Sep, 2021
本文提出了一种运用知识图谱的结合方法来提高自然语言推理问题(NLI)领域中性能的技术,该技术在文本、图形和文本到图形的模型上均取得了最新的最优表现,并讨论了外部知识在解决 NLI 问题中的实际意义。
Sep, 2018
本次调查聚焦于十项著名任务,介绍其问题形式、方法、现有数据集、评估措施,并与相应的最新方法进行比较。我们的工作超越早期的调查,既非任务特定的,也不仅针对一种类型的视觉内容,即图像或视频。此外,我们还提供了该研究领域的一些潜在未来方向,期望此次调查能激发革新性的思路和想法,以解决现有挑战并构建新的应用。
Jul, 2019
本文研究了将通用知识库中的知识注入视觉 - 语言模型中,并通过辅助训练目标增加了语义和关系知识的表征,实现了对问题回答、视觉推理等任务中的性能提升,这种技术不依赖于特定的模型,具有较小的计算开销。
Jan, 2021
通过对 LLMs 的选择性整合外部知识,介绍了一种基于多个 LLM 之间交互协助的外部推理新方法 (ChatPDF),在人类反馈的响应下,根据查询的复杂性调整支持水平,经过全面评估后取得了最先进的性能,并且相比 LLMs 直接处理全文,这种方法更加高效。
Jul, 2023
通过测量语言模型的端到端性能,我们实证研究了各种知识集成方法对外部知识的贡献,发现知识的引入可以显著提高某些任务的结果,同时对其他任务没有不良影响,使用互信息来反映知识带来的差异,通过神经解释模型揭示语言模型如何利用外部知识。
Sep, 2021
本文提出了一种基于动态记忆网络和外部知识库的 VQA 算法,通过对外部知识的检索和动态记忆网络对知识和图像的关注与推理,有效地回答包括开放领域问题在内的更复杂问题,并在视觉问答任务中取得了最好的表现。
Dec, 2017
研究了基于视觉和语言协同的任务,考虑利用知识图谱和大型语言模型等外部知识来源填补现有 VL 预训练数据集中存在的知识缺失问题,提出了基于混合架构的解决方案,并总结了知识图谱与大型语言模型潜在对未来混合模型的影响。
Mar, 2023