ACLJan, 2015

结合语言和视觉的多模式跳字模型

PDF
TL;DR本研究通过将视觉信息纳入 SKIP-GRAM 模型，创新性地提出了一种多模式的词向量表达方式，并取得了良好的语义基准表现。同时，该模型还能够将视觉信息传递到所有词中，用于改进零样本图像标注和检索，并探索了抽象词汇的有趣视觉属性，为意义的具体化实现奠定了基础。
skip-grammultimodal modelsvisual informationsemantic benchmarksembodied theories of meaning
发现论文，激发创造
  • 基于视觉语境的多模态词表示学习

    本研究提出了一种同时利用文本和视觉上下文以学习多模态词嵌入的端到端方法，通过将视觉上下文元素整合到多模态 skip-gram 模型中，探索了何种因素可以作为视觉上下文，并进行了实验和分析。

    Nov, 2017

  • 赋能多模态知识存储和共享的视觉增强 LLMs

    通过 MKC2 散裝部件集成到 LLMs 中，来存储和分享多模态知识，以增强 LLMs 的推理能力，从而在需要物理或常识知识的上下文中提供竞争性结果。

    Nov, 2023

  • 多模态自回归建模基于视觉单词

    成功进行多模态自回归建模，并首次提出了视觉词概念，将视觉特征映射到 LLMs 词汇的概率分布，为视觉建模提供了监督信息。通过对 5 个 VQA 任务和 4 个基准工具包的实验结果和消融研究的验证，证明了我们提出方法的强大性能。

    Mar, 2024

  • 视觉增强零样本图像分类的多模态大语言模型

    使用多模态大语言模型 (Multimodal LLMs) 的简单且有效方法实现了零样本图像分类，通过生成全面的文本表示从而在交叉模态嵌入空间中生成固定维度特征，在线性分类器上融合这些特征以进行分类，取得了令人瞩目的效果。

    May, 2024

  • 通过跨模态跳跃连接实现有效和高效的视觉 - 语言学习的 mPLUG

    mPLUG 是一个新的视觉语言基础模型，通过新颖的跨模态 skip-connections 有效缓解了现有预训练模型由于跨模态对齐中长的视觉序列带来的信息不对称和低计算效率等问题，通过对大规模图像 - 文本对的端到端预训练，具有良好的视觉和语言能力，并在图像字幕生成、图像 - 文本检索、视觉定位和视觉问答等一系列视觉语言场景下实现了最先进的结果，并且具有很强的零样本学习能力。

    May, 2022

  • 通过多模态知识迁移的开放词汇多标签分类

    本研究提出一种新的基于开放词汇的跨模态知识迁移框架 (MKT)，利用视觉和语言预训练模型的多模态知识，采用知识蒸馏技术和双流模块来实现多标签分类和多目标识别，并在公开基准数据集上显著优于现有方法。

    Jul, 2022

  • 自适应 Skip-gram 算法突破难点及歧义

    本文介绍了一种自适应 Skip-gram 模型，能够自动学习所有单词在所需语义分辨率下所需的表示，并通过词义归纳任务证明了其效率。

    Feb, 2015

  • VLSNR: 基于视觉语言协调和时序感知的新闻推荐

    提出了一种视觉 - 语言坐标时间序列新闻推荐方法，基于预训练的多模型编码器，应用自注意力网络学习时间顺序。通过构建的大规模多模式新闻推荐数据集 V-MIND 验证了该方法的优越性。

    Oct, 2022

  • 基于 LMM 的知识在图像分类任务中的利用

    使用 Large Multimodal Models 中的 MiniGPT-4 模型，结合图像编码器和文本编码器提取语义描述，以提高图像分类任务的性能。

    Jun, 2024

  • 探索多模态大型语言模型的全局和局部语义表示

    研究发现，模型的中间层能够更好地编码全局语义信息，表征向量在视觉 - 语言蕴含任务中表现更好，而最顶层的模型可能过于关注局部信息，导致对全局信息编码能力减弱。

    Feb, 2024