Jun, 2023

SPAE：使用固定的 LLMs 进行多模态生成的语义金字塔自编码器

PDF
TL;DR本文介绍了语义金字塔自编码器（SPAE），它使得具有非语言模式（如图像或视频）的被冻结的 LLMs 能够执行理解和生成任务。我们的方法通过在冻结的 PaLM 2 和 GPT 3.5 上进行多样化的图像理解和生成任务中上下文学习实验证明，是首次成功尝试使冻结的 LLM 生成图像内容，并在相同的环境中在图像理解任务中表现优于现有技术 25％以上。
发现论文，激发创造
  • 利用多模态语言模型生成图像

    该论文提出了一种方法，通过将文本形式的大型语言模型嵌入图像编码器和解码器模型中，利用它们的嵌入空间之间的映射来融合两者，从而实现多模态的图像检索、新颖图像生成和多模态对话，同时还能生成并处理图像和文本输入，比非基于 LLM 的模型在一些基于文本生成图像任务方面表现更好。

    May, 2023

  • SMAUG：用于高效视频语言预训练的稀疏掩蔽自编码器

    研究报告介绍了一个高效的视频语言模型预训练框架 ——SMAUG，该框架采用掩蔽自编码器、时空标记稀疏模块等多种设计，旨在实现视觉和文本模态之间更好的交叉模态对齐、节省更多的预训练成本，并在多个基准测试上具有极高的性能。

    Nov, 2022

  • 医学视觉与语言预训练的多模态掩码自编码器

    提出了一种基于 M$^3$AE 的自监督学习模型，通过随机遮盖图像和文本中的像素和标记来学习跨模态领域知识的医学视觉语言模型，并在三个任务上实现了最先进水平的结果。

    Sep, 2022

  • 基于知识增强的混合 prompt 调参框架语义解析

    本文基于预训练语言模型的方法，提出了一种新的知识增强框架语义分析架构（KAF-SPA），用于从高维向量空间中构建连续模板以提高语义表示，并使用混合提示将选定的知识融入到 PLM 中，实现语义框架的歧义消解，并在两个公共数据集上实现了优于强基线的最新结果。

    Mar, 2023

  • 图像合成和图像到图像翻译中的学习空间金字塔注意池化

    本文介绍了一种基于 SPAP 的建筑单元的学习方法，该方法可以轻松地集成到 GAN 和 CycleGAN 的生成器和鉴别器中，以促进有效的端到端生成式学习，在 Celeba-HQ-128 和 Image-to-Image 翻译数据集上得到了更好的性能。

    Jan, 2019

  • 将语义引入语音编码器

    本文提出了一种无监督的任务无关方法，将大型语言模型中的语义信息融合进入自监督语音编码器，提高了其在意图分类，名称实体识别及槽填充等方面的性能，使其达到了有监督方法同等的效果，为已有的语音编码器的无监督实现提供了可行性证明。

    Nov, 2022

  • 使用冻结语言模型的多模式小样本学习

    通过对齐图像和标题数据，我们训练一个视觉编码器将每个图像表示为一系列连续的嵌入，并使用预先训练的冻结语言模型来生成相应的标题，从而将这种少量样本学习能力转移至多模态设置。该系统是一种多模态少样本学习模型，具有学习各种新任务的惊人能力，如用只有少数几个样例进行视觉问答，或者利用外部知识。

    Jun, 2021

  • 时空 SwinMAE：基于 Swin Transformer 的多尺度时空卫星图像表示学习器

    本研究论文介绍了一种名为 Spatio-Temporal SwinMAE 的架构，专注于时空图像处理的表示学习，提出了一种名为 Degas 100M 的预训练模型作为地理空间基础模型，并提出一种名为 Spatio-Temporal SwinUNet 的架构进行迁移学习，该方法在地表覆盖下游任务中表现出显著的性能优势。

    May, 2024

  • 语言量化自编码器：朝向无监督的文本图像对齐

    通过引入 Language-Quantized AutoEncoder (LQAE) 这一基于无监督方法的模型，利用预训练语言模型（如 BERT，RoBERTa）来解决大型语言模型缺乏图像感知的问题，并有效地将图像和文本信息进行对齐，通过 LQAE 学习将图像编码为一系列文本符号，使 LQAE 能够将不对齐的图像用于多模态任务，以及使用 BERT 文本特征对图像进行线性分类。

    Feb, 2023

  • 图像段落生成的卷积自编码句子主题

    本文提出了一个新的设计 —— 卷积自动编码（CAE），用于图像的主题建模 。此外，我们提出了一种架构，即 CAE 加 LSTM（称为 CAE-LSTM），通过注意机制将学习的主题集成到段落生成过程中，在 Stanford 图像段落数据集上进行了广泛的实验，并与其他先进的方法相比表现出优异的结果，尤其是将 CIDEr 性能从 20.93％提高到了 25.15％。

    Aug, 2019