大模型时代的视觉知识:回顾与展望
本文介绍了融合人工智能 / 机器学习和可视化 / 视觉分析的新兴领域 —— 综合视觉知识发现。文章着重探讨了可视分析、可视化知识发现以及人工智能 / 机器学习的挑战和未来方向,并讨论了可视化在视觉人工智能 / 机器学习中的作用。此外,文章介绍了在视觉帮助下新兴的全 2D ML、自然语言处理以及多维数据中的人工智能 / 机器学习的进展。
May, 2022
使用来自大规模知识库的信息来推理图片内容,解释推理过程并回答自然语言问题的视觉问答方法,比主流的长短时记忆方法更能回答复杂问题且表现明显更好,同时提供了数据集和协议来评估这类方法。
Nov, 2015
本研究探索了将视觉知识整合到语言模型中以填补现有文本信息中缺失的相关性和物体属性信息的空白。研究发现,视觉知识传递可以在低资源和完全监督设置下均有效提高预先训练的语言模型在需要视觉知识的下游任务中的性能。
Mar, 2022
这篇论文从时间的角度对视觉语言智能进行了全面的调研,总结了三个时期的发展,包括特定任务方法,视觉 - 语言预训练方法和通过大规模弱标签数据增强的更大模型,并讨论了未来的发展趋势.
Mar, 2022
本研究使用自动管道方法研究了视觉 - 语言模型在获取 “可见” 物理知识方面的能力,并发现这些模型在物体颜色,大小和空间三个方面的表现与人类存在明显差距。而采用预训练的基线模型 (CapBERT) 可以取得更好的表现。
Sep, 2022
通过分析和识别现有生成模型所面临的关键挑战并引入人类见解、预训练模型、逻辑规则和世界知识等多种知识源,本文提出了一种知识增强的迭代优化框架用于视觉内容生成,其中引入了知识反馈模块来逐步改进生成过程,从而提高生成内容与用户意图之间的一致性。通过初步结果展示了所提框架的有效性,突显了知识增强型生成模型在意图一致内容生成方面的潜力。
May, 2024
利用外部常识知识库将模型行为与人类知识对齐,并通过多层次可视化和交互式模型探索和编辑,帮助自然语言处理专家在不同场景中对模型的概念关系推理进行系统且可扩展的可视化分析。
Jul, 2023
本文提出了一种启发自可解释的机器学习的框架,该框架通过量化实验评估了数据量和估计范围对知识价值的影响,并阐明了数据和知识之间的复杂关系。这个模型无关的框架可以应用于各种常见的网络架构中,提供了对深度学习模型中先前知识作用的全面理解。同时,它还可以用于提高知情机器学习的性能,以及区分不适当的先前知识。
Jul, 2023
这篇文章概述了创建和管理大型知识库的基本概念和实践方法,重点介绍了发现和规范实体及其语义类型、自动提取基于实体的属性以及构建开放架构和知识管理的方法。
Sep, 2020
本文综述了现有的因果推理方法在视觉表征学习中的应用,探讨了当前方法和数据集的限制,并提出了因果推理算法基准的前景挑战、机会和未来研究方向,以更有效地实现可靠的视觉表征学习及相关应用。
Apr, 2022