Mar, 2023

视觉语言学习中知识的贡献：任务和挑战调查

PDF
TL;DR研究了基于视觉和语言协同的任务，考虑利用知识图谱和大型语言模型等外部知识来源填补现有 VL 预训练数据集中存在的知识缺失问题，提出了基于混合架构的解决方案，并总结了知识图谱与大型语言模型潜在对未来混合模型的影响。
visiolinguistic learningknowledge graphslarge language modelshybrid architecturesgeneralization capabilities
发现论文，激发创造
  • 知识增强的多模态学习调查

    该研究调查了多模态学习中的视觉语言学习及其与知识图谱的结合，提出了一种基于知识图谱的视觉语言学习模型以解决一般性知识方面的问题。

    Nov, 2022

  • 视觉 - 语言智能：任务、表示学习与大模型

    这篇论文从时间的角度对视觉语言智能进行了全面的调研，总结了三个时期的发展，包括特定任务方法，视觉 - 语言预训练方法和通过大规模弱标签数据增强的更大模型，并讨论了未来的发展趋势.

    Mar, 2022

  • 视觉和语言推理：探索补充知识的益处

    本文研究了将通用知识库中的知识注入视觉 - 语言模型中，并通过辅助训练目标增加了语义和关系知识的表征，实现了对问题回答、视觉推理等任务中的性能提升，这种技术不依赖于特定的模型，具有较小的计算开销。

    Jan, 2021

  • 视觉任务的视觉语言模型综述

    本文系统回顾了基于语言的视觉模型在各种视觉识别任务中的应用，并总结了广泛采用的网络结构、预训练目标和下游任务，以及预训练和评估中广泛采用的数据集，并回顾和分类现有的预训练方法、传输学习方法和知识蒸馏方法。

    Apr, 2023

  • 视觉语言预训练是否提高了词汇连接能力？

    本文研究比较基于视觉和语言的预训练模型和仅基于文本的预训练模型的语义表示，结果发现基于视觉和语言的模型在仅语言方面无法显著优于仅基于文本的模型，因此这种多模态预训练对于提高自然语言处理的效果仍需要进一步研究。

    Sep, 2021

  • 知识融合与大型语言模型的趋势：方法、基准和应用的调查和分类

    通过综述知识融入大型语言模型的趋势、方法分类、基准和应用，本文概述了该研究领域的全貌，并指出了未来的研究方向。

    Nov, 2023

  • 利用视觉知识在语言任务中：跨模态知识转移的中间预训练的实证研究

    本研究探索了将视觉知识整合到语言模型中以填补现有文本信息中缺失的相关性和物体属性信息的空白。研究发现，视觉知识传递可以在低资源和完全监督设置下均有效提高预先训练的语言模型在需要视觉知识的下游任务中的性能。

    Mar, 2022

  • 视觉引导语言学习：语言游戏，数据集，任务和模型综述

    对于基于语言模型目标在大规模纯文本数据上进行训练的几种机器学习模型，在许多自然语言理解和生成任务上取得了令人印象深刻的结果。然而，对于语义的许多方面，仅仅通过 “倾听收音机” 是无法学习到的。本文系统地回顾了视觉 + 语言领域中提出的多个任务和模型。利用维特根斯坦的 “语言游戏” 思想，将这些任务分为 3 个不同的类别：1）区分性游戏，2）生成性游戏，和 3）交互式游戏。我们的文献分析提供了证据，表明未来的工作应该专注于重要的交互式游戏，在其中自然语言的交流对于解决关于物体指称和行动计划的不确定性是必要的，而物理体现则是理解场景和事件语义的重要条件。作为总体，这些是发展基于神经模型的扎根意义的关键要求。

    Dec, 2023

  • 12 合 1：多任务视觉和语言表示学习

    本篇文章通过开发一个大规模、多任务训练体系，研究了不同任务之间的相互关系，提出了一个单一模型，可以在视觉问题回答、基于标题的图像检索、引用表达和多模态验证等四个广泛的任务范畴下，同时取得以往 3 亿多参数内单一任务模型的总和，且性能提高了 2.05 个百分点，并进一步表明，从单一多任务模型微调任务特定模型会进一步提高性能。

    Dec, 2019

  • 学得越多未必越好：视觉与语言任务中的知识可迁移性

    研究在多模态任务中知识转移性，以探讨是否将不同任务的数据集合并来训练视觉 - 语言模型一定能提高它们的整体表现。通过对 12 项视觉 - 语言任务进行数百次交叉实验分析，发现不是所有的知识都能有益于相关任务，在同一组任务中却容易相互改进，而数据集的大小和预训练阶段也对知识转移的效果有重要影响。

    Aug, 2022