CVPRMar, 2020

通过语言条件滤波器调节自下而上和自上而下的视觉处理

PDF
TL;DR本文旨在探讨如何在涉及语言和视觉的多模态任务中最佳地整合语言和感知处理，并提出了使用语言来调节自下而上处理以及自上而下注意力的 U-Net 模型。 实验结果表明，使用语言控制自下而上的视觉处理可提高多任务的细分结果表现。
language and visionmulti-modal tasksbottom-up processingdense-prediction taskssegmentation
发现论文，激发创造
  • 通过语言调节早期视觉处理

    本文提出一种新的模型，称之为 MRN，通过在预训练的残差网络（ResNet）中加入 batch normalization 参数对语言嵌入进行调制，显著优化了两个视觉问答任务的结果，并表明从视觉处理的早期阶段调制有益。

    Jul, 2017

  • 对比视觉语言模型中的感知分组

    本篇论文研究视觉 - 语言模型在理解图像中物体所在区域和组合视觉相关部分方面的表现，提出一种最小的修改方案，获得了先进的无监督分割结果和对冗余相关性的鲁棒性。

    Oct, 2022

  • 多模态大型语言模型在预测语言处理中体现人类式的视觉 - 语言整合的证据

    大型语言模型（LLMs）的高级语言处理能力引发了关于它们是否能够复制类似人类认知过程的能力的讨论，本文通过研究多模态语言模型（mLLMs）中的视觉关注权重，发现与人类一样，mLLMs 中基于多模态输入的预测性语言处理过程也会受到视觉特征的注意引导。

    Aug, 2023

  • 文本的双模态：视觉和文本生成预训练

    对于像素级语言模型，本论文介绍了一种新颖的预训练框架，通过在超过 4 亿个文档渲染的 RGB 图像上预训练，采用双模态训练方案，结合视觉数据和文本数据，通过下一个块预测和分类头预测进行训练，并展示了将视觉和文本数据结合的潜力及有效性。

    Apr, 2024

  • 通过文本生成统一视觉语言任务

    该研究提出了一个统一框架，通过相同的语言建模目标，在单个体系结构中学习不同的任务，实现视频图像理解、语言推理和标签生成等领域的应用。通过在多个基准测试中的表现，这种生成方法（在单个统一的体系结构下）显示出了与最先进的特定任务模型相当的性能，并且还显示了更好的推广能力和单个任务模型相似的多任务学习能力。

    Feb, 2021

  • 定位与语义：语言如何促进视觉表征学习？

    我们通过探测的方式比较了视觉 - 语言模型和仅视觉模型的视觉表征，在广泛的任务范畴内评估学习表征的质量，发现视觉 - 语言模型更适合标签预测任务，而仅视觉模型更适合需要更多局部信息的密集预测任务，同时指出语言有利于视觉模型更好地学习语义，但不利于定位。

    Dec, 2022

  • 透過模塊關注學習如何在循環神經網絡中結合自上而下和自下而上的信號

    在深层递归神经网络中使用注意力机制和模块化架构来动态结合自底向上和自顶向下的信号，以实现对语言和感知任务的鲁棒性改进。

    Jun, 2020

  • 自然语言引导的动态多模态实例分割

    本研究旨在处理通过自然语言描述的对象分割问题，并提出了一种新的方法，将递归神经网络和卷积神经网络相结合以完全利用语言的递归本质。通过四个标准数据集的比较，我们的方法在八个任务中的六个任务中表现超越之前的方法。

    Jul, 2018

  • 多模视觉监督对语言有益吗？

    本文探讨和研究使用视觉监督学习的语言表示相对于常规语言表示对自然语言理解和常识推理基准测试的优劣，并根据多个图文模型和视频文本模型的实验结果发现，常规语言表示在多数任务中表现更好，揭示了视觉 - 语言模型当前的缺陷。

    Feb, 2023

  • 像婴儿一样：视觉背景下的神经语言习得

    通过实验证明了在多模态环境中进行语言学习可以提高预测准确率，该研究使用了预训练的 BERT 嵌入以及不同语言和模型进行了测试，并得出了这个认识与身处环境相应认知理论相对应的结论。

    May, 2018