Apr, 2022

使用外部知识学习可转移的视觉模型的 K-LITE

PDF
TL;DR该论文探讨了使用外部知识作为计算机视觉系统训练的一种有效方法，并提出了一种名为 K-LITE 的策略，旨在通过使用 WordNet 和 Wiktionary 的知识来丰富文本数据从而提高图像识别和目标检测的性能。在 20 个数据集和 13 个不同的基准测试上，与现有方法相比，使用外部知识的知识增强模型表现出了更高的迁移学习性能。
computer visionsupervised learningexternal knowledgek-litetransfer learning
发现论文，激发创造
  • 探索外部知识以准确地建模视觉和语言问题

    本文介绍了一种利用外部知识提高人工智能任务性能的方法，将其应用于视觉语言理解、机器翻译和图像字幕制作等任务，并且在这些任务建模中显著提升表现。

    Jan, 2023

  • 从自然语言监督中学习可转移的视觉模型

    通过预测图像与文本配对来预训练计算机视觉系统，使其可以从自然语言描述中直接学习视觉概念，从而实现零样本迁移，并在多个计算机视觉任务上展现出竞争力。

    Feb, 2021

  • 利用视觉知识在语言任务中：跨模态知识转移的中间预训练的实证研究

    本研究探索了将视觉知识整合到语言模型中以填补现有文本信息中缺失的相关性和物体属性信息的空白。研究发现，视觉知识传递可以在低资源和完全监督设置下均有效提高预先训练的语言模型在需要视觉知识的下游任务中的性能。

    Mar, 2022

  • 使用知识引导辅助描述包含新型物体的自然图像

    提出一种使用知识库指导的、包括多个抽象概念的多实体标签图像识别模型，在描绘描绘未知 / 新物体的图像生成模型中，利用第一步预测的抽象概念作为外部语义关注和约束推理的依据，以处理野外图像中的抽象概念，对 MSCOCO 数据集进行了实验验证，结果显示出了优于以前大部分工作的性能，并可用于知识和视觉的通用集成。

    Oct, 2017

  • 使用知识图谱进行视觉迁移学习的调查

    本文综述了利用知识图谱的视觉迁移学习方法，着重分析知识图谱的建模结构、特征提取和知识图嵌入方法，并介绍了四种知识图谱与深度学习管道的组合方式。同时，提供了评估基准、处理数据集和基于知识图谱的辅助知识类型的概述。未来的研究应着眼于挖掘面临的挑战和开放问题。

    Jan, 2022

  • 视觉和语言推理：探索补充知识的益处

    本文研究了将通用知识库中的知识注入视觉 - 语言模型中，并通过辅助训练目标增加了语义和关系知识的表征，实现了对问题回答、视觉推理等任务中的性能提升，这种技术不依赖于特定的模型，具有较小的计算开销。

    Jan, 2021

  • 使用检索增强的知识，学习定制的视觉模型

    提出一种名为 REACT 的框架用于获取相关网络知识以构建目标领域的定制视觉模型。该框架通过检索与预训练数据集最相关的图像 - 文本对作为外部知识源，并仅训练新的模块化块，冻结所有原始权重，证明了其在零、少、全样本设置下显著提高了分类、检索、检测和分割任务的成功率。

    Jan, 2023

  • 重新审视分类器：将视觉语言模型应用于视频识别

    该研究重点研究了通过使用不同于传统方法的先前训练模型知识来改进视频分类的方法，简单而有效的调整模式在各种视频识别场景中达到了最先进的表现。

    Jul, 2022

  • 基于视觉的常识知识获取

    CLEVER 是一种利用视觉感知中蕴含的 commonsense 知识，在不需要人类对图像实例进行注释的情况下，通过远程监督的多实例学习问题，从图像中提取 commonsense 知识的方法。实验结果表明，CLEVER 可以提取有质量的 commonsense 知识。

    Nov, 2022

  • 从视觉到语言的知识迁移：如何实现和衡量？

    探究使用视觉数据来补充大型语言模型知识的方法，并提出一种基于 memory colors 任务查询和模型训练数据过滤的方法，以用于测量模型的视觉知识传输能力，并介绍了一种涉及视觉想象步骤的模型架构，并发现我们的方法可以成功用于衡量模型的视觉知识传输能力，而我们的新型模型架构在单模态环境中利用多模态知识具有良好的结果。

    Sep, 2021