ICLRJul, 2021

Perceiver IO: 一种针对结构化输入输出的通用体系结构

PDF
TL;DR本文提出 Perceiver IO 机器学习模型，它具有灵活的查询机制，能够处理来自任意领域的数据并对多种任务进行推理，其性能表现优于传统的 Transformer-based BERT 基准测试，并在 Sintel 光流估计方面取得了最先进的性能。
machine learningperceiver iogeneral-purpose architectureflexible querying mechanismmulti-modal reasoning
发现论文，激发创造
  • 带迭代注意力的通用感知器

    本文介绍了 Perceiver 模型，它利用了不对关系进行假设的 Transformer，同时还能在处理非常大的输入时进行规模扩展，通过迭代地将输入压缩到一个紧凑的潜在瓶颈中，并且在图像、点云、音频、视频和视频 + 音频等多个模态的分类任务中达到了与最佳模型相当的性能。

    Mar, 2021

  • Uni-Perceiver: 通用感知的预训练统一架构，用于零样本和小样本任务

    使用 Uni-Perceiver 的通用感知架构进行多个任务和多个模态的统一建模和共享参数，在预训练和微调的阶段都表现出了可接受的结果和表现。

    Dec, 2021

  • 通用多模态 Transformer 满足遥感语义分割

    在遥感语义分割领域中，本研究调查了 PerceiverIO 等普适性多模态网络在处理遥感图像中的物体尺度变化和车辆检测方面的表现，并提出一种空间和体积学习组件来解决这些问题。通过广泛的实验证明，该方法在与 UNetFormer 和 SwinUNet 等专用架构相比具有竞争力的结果，显示出最小化网络架构工程且性能不受明显影响的潜力。

    Jul, 2023

  • 统一输入输出：视觉、语言和多模态任务的统一模型

    Unified-IO 是一种模型，它可以执行各种人工智能任务，包括传统的计算机视觉任务、视觉与语言任务和自然语言处理任务，通过将每个任务的异构输入和输出转换为离散词汇令其有共同的表示方式，从而实现使用一个单一的基于 transformer 的架构，针对视觉和语言领域的 90 多个不同数据集联合训练，其能够在诸如 NYUv2-Depth、ImageNet、VQA2.0 等 16 个不同基准测试中产生强大的结果，这是第一个不需要针对特定任务进行微调即可执行所有 7 个 GRIT 基准任务的模型。

    Jun, 2022

  • 快速视觉感知的动态查询选择

    本文探讨了如何在限制精度降低的同时，通过减少推理情况下的查询数量 Q，进一步提高 Perceivers 的效率，以解决网络复杂度和推理时间的问题。

    May, 2022

  • Perceiver-Actor: 用于机器人操纵的多任务 Transformer

    使用 Perceiver Transformer 的行为克隆代理能够有效地学习行动，实验表明其在桌面任务上优于不受结构限制的图像转行动代理和 3D ConvNet 基准。

    Sep, 2022

  • Perceiver-VL: 迭代潜在注意力的高效视觉语言建模

    Perceiver-VL 是一个高效处理大量视觉和语言输入的框架，采用迭代潜在跨注意力技术，具有线性可扩展性和高效性，并在保持其竞争力能力的同时，在各种基准测试中取得最佳结果。

    Nov, 2022

  • AIO-P：将神经性能预测器扩展到图像分类之外

    本文提出一种全新的 All-in-One Predictor (AIO-P) 来有效地预测多个计算机视觉任务下的深度学习模型的性能表现，并采用多领域神经网络结构，以及知识融入技术，经过大量的实验证明，该方法可以为新架构的预测和决策提供有力支持，并在多个任务中取得了显著的性能优势。

    Nov, 2022

  • Perceiver AR 实现的通用、长上下文自回归建模

    使用跨注意力机制构建了 Perceiver AR 机器学习模型，可自动学习高维的图像和音乐数据中的长期依赖关系，并在图像和书籍的测试中取得最优的结果，而无需人为设计稀疏模式或记忆机制。

    Feb, 2022

  • 多模态提示感知器：全能图像恢复的适应性、普适性和保真度

    本研究介绍了 MPerceiver：一种新颖的多模态提示学习方法，利用稳定扩散先验增强了全方位图像修复的适应性、普适性和保真性。通过开发双分支模块，该方法掌握了两种类型的稳定扩散提示：文本提示用于整体表示和视觉提示用于多尺度细节表示。MPerceiver 使用 CLIP 图像编码器的退化预测动态调整这两种提示，从而能够对不同的未知退化进行自适应响应。此外，插件细节优化模块通过直接的编码器到解码器信息转换提高了修复保真性。实验证明，MPerceiver 在全方位图像修复的 9 个任务上经过多任务预训练，优于大多数专门任务的特定方法。在低级视觉方面，MPerceiver 表现出出色的零样本和少样本能力。在 16 个图像修复任务和 26 个基准测试上的大量实验证实了 MPerceiver 在适应性、普适性和保真性方面的优越性。

    Dec, 2023