不确定性感知者
本文介绍了 Perceiver 模型，它利用了不对关系进行假设的 Transformer，同时还能在处理非常大的输入时进行规模扩展，通过迭代地将输入压缩到一个紧凑的潜在瓶颈中，并且在图像、点云、音频、视频和视频 + 音频等多个模态的分类任务中达到了与最佳模型相当的性能。
Mar, 2021
本文考察 523 个现有的深度图像分类器在选择性预测和不确定性估计性能方面的表现，发现蒸馏型训练方案普遍比其他训练方案具有更好的估计不确定性的能力，ViT 模型在不确定性估计方面的表现超过其他模型。
Feb, 2023
探讨深度神经网络架构与训练机制与其相应的选择性预测和不确定性估计性能的关系，并在 484 个预训练的深度 Imagenet 分类器中进行了全面的选择性预测和不确定性估计性能研究，发现 ViT 架构在不确定性估计性能方面表现最优。
Jun, 2022
使用 Uni-Perceiver 的通用感知架构进行多个任务和多个模态的统一建模和共享参数，在预训练和微调的阶段都表现出了可接受的结果和表现。
Dec, 2021
使用跨注意力机制构建了 Perceiver AR 机器学习模型，可自动学习高维的图像和音乐数据中的长期依赖关系，并在图像和书籍的测试中取得最优的结果，而无需人为设计稀疏模式或记忆机制。
Feb, 2022
准确的不确定性估计对可信赖的机器学习至关重要，本研究引入了视觉模型的首个预训练不确定性模块，类似于标准的预训练，这使得在大型预训练数据集上学习到的不确定性能够零样本迁移到专门的下游数据集，我们通过解决以前的不确定性模块中的梯度冲突并将训练加速了 180 倍，实现了在 ImageNet-21k 上的大规模预训练，我们发现预训练的不确定性能够泛化到未见过的数据集，通过审视学习到的不确定性，我们发现它们捕捉了与认知成分独立的基本不确定性，我们证明了这使得安全获取和不确定性感知的数据集可视化成为可能，为了鼓励将这项研究应用于更多的问题和领域，我们在以下链接中发布了所有预训练的检查点和代码。
Feb, 2024
本文提出 Perceiver IO 机器学习模型，它具有灵活的查询机制，能够处理来自任意领域的数据并对多种任务进行推理，其性能表现优于传统的 Transformer-based BERT 基准测试，并在 Sintel 光流估计方面取得了最先进的性能。
Jul, 2021
通过引入输入相关的不确定度来学习输入不确定的实例的更大方差， 我们使用变分推断学习了不确定性感知注意力机制， 并在不同的高风险预测任务中验证了其有效性。进一步的评估表明，我们的模型生成符合临床医生解释的注意力，并通过学习方差提供更丰富的解释。
May, 2018
对于集成预测不确定性以提高深度学习患者安全性的图像分类器，我们评估了两种不同的方法。我们发现，这些方法使用光学相干断层扫描的数据集训练，能够得出更可靠的结果，有望提高患者安全性。
Aug, 2019