ICMLMar, 2021

带迭代注意力的通用感知器

PDF
TL;DR本文介绍了 Perceiver 模型，它利用了不对关系进行假设的 Transformer，同时还能在处理非常大的输入时进行规模扩展，通过迭代地将输入压缩到一个紧凑的潜在瓶颈中，并且在图像、点云、音频、视频和视频 + 音频等多个模态的分类任务中达到了与最佳模型相当的性能。
perceivertransformersasymmetric attention mechanismmulti-modal perceptionclassification
发现论文，激发创造
  • Uni-Perceiver: 通用感知的预训练统一架构，用于零样本和小样本任务

    使用 Uni-Perceiver 的通用感知架构进行多个任务和多个模态的统一建模和共享参数，在预训练和微调的阶段都表现出了可接受的结果和表现。

    Dec, 2021

  • Perceiver IO: 一种针对结构化输入输出的通用体系结构

    本文提出 Perceiver IO 机器学习模型，它具有灵活的查询机制，能够处理来自任意领域的数据并对多种任务进行推理，其性能表现优于传统的 Transformer-based BERT 基准测试，并在 Sintel 光流估计方面取得了最先进的性能。

    Jul, 2021

  • Perceiver-VL: 迭代潜在注意力的高效视觉语言建模

    Perceiver-VL 是一个高效处理大量视觉和语言输入的框架，采用迭代潜在跨注意力技术，具有线性可扩展性和高效性，并在保持其竞争力能力的同时，在各种基准测试中取得最佳结果。

    Nov, 2022

  • 快速视觉感知的动态查询选择

    本文探讨了如何在限制精度降低的同时，通过减少推理情况下的查询数量 Q，进一步提高 Perceivers 的效率，以解决网络复杂度和推理时间的问题。

    May, 2022

  • Perceiver AR 实现的通用、长上下文自回归建模

    使用跨注意力机制构建了 Perceiver AR 机器学习模型，可自动学习高维的图像和音乐数据中的长期依赖关系，并在图像和书籍的测试中取得最优的结果，而无需人为设计稀疏模式或记忆机制。

    Feb, 2022

  • 不确定性感知者

    Perceiver 模型在架构上具有少量假设，相对于 ResNet-50 和 ViT，在准确度方面具备一定竞争力，但忽略了预测不确定性和校准，并通过五个 Perceiver 改进，即 Uncertainty-Aware Perceivers，在不确定性估计方面取得了显著的性能提升。

    Feb, 2024

  • 多模态融合中的注意力瓶颈

    本篇论文介绍了一种基于 transformer 的新颖架构，使用多层的融合瓶颈来进行多模态融合，实现了在多个音视频分类基准测试上的最新的结果，同时降低了计算成本。

    Jun, 2021

  • 通用多模态 Transformer 满足遥感语义分割

    在遥感语义分割领域中，本研究调查了 PerceiverIO 等普适性多模态网络在处理遥感图像中的物体尺度变化和车辆检测方面的表现，并提出一种空间和体积学习组件来解决这些问题。通过广泛的实验证明，该方法在与 UNetFormer 和 SwinUNet 等专用架构相比具有竞争力的结果，显示出最小化网络架构工程且性能不受明显影响的潜力。

    Jul, 2023

  • Perceiver-Actor: 用于机器人操纵的多任务 Transformer

    使用 Perceiver Transformer 的行为克隆代理能够有效地学习行动，实验表明其在桌面任务上优于不受结构限制的图像转行动代理和 3D ConvNet 基准。

    Sep, 2022

  • 感知得分：您的模型感知哪些数据模态？

    本文提出了感知分数的概念，通过该指标对多模态数据集中的各种输入特征进行评估，发现最新的视觉问答或视觉对话多模态模型相较于它们的先驱越来越少重视视觉数据，这趋势引起了担忧，需要对此展开讨论并提出解决思路。

    Oct, 2021