通过 Prototypical Transformer（ProtoFormer）框架，本研究从原型视角途径多种动作任务。ProtoFormer 通过深思熟虑地考虑动作动态性引入了原型学习与 Transformer 的完美结合。交叉注意力原型化通过基于典型动作模式发现原型，提供了对动作场景的透明理解。同时，潜在同步通过原型引导特征表示学习，有效缓解了动作不确定性问题。实证结果表明，该方法在光流、场景深度等流行的动作任务上取得了有竞争力的性能。此外，它还在物体跟踪和视频稳定等多种应用任务中展现了广泛适用性。

Jun, 2024

本文针对 prototypical part network 在 vision transformer 上的应用存在的 “干扰” 问题，提出了 prototypical part transformer 方法，引入全局和局部原型来捕捉和突出目标的代表性整体和部分特征，并通过显式监督控制局部原型，从而提高整体的可解释性与表现。

Aug, 2022

ProtoTEx 是一种基于原型网络的新型白盒 NLP 分类体系结构，其通过原型张量解释模型决策，可在处理没有代表性特征的类别时有效地处理，可精准检测网络新闻中的宣传，并通过原型解释帮助非专业人士更好地识别宣传。

Apr, 2022

通过数据增强、使用变分自动编码器 (VAE) 结构的 Transformer 模型和神经机器翻译模型，通过改进之前的方法来提高原型形态重建的性能。

Apr, 2024

本文提出了一种为 few-shot 文本分类的经典网络增加高斯类原型和一种鼓励示例靠近适当类别中心的正则化项的简单方法，表明该方法比 13 个公共数据集和 4 个内部数据集的各种强基线更为出色，并将类分布作为检测潜在的部署时油水分离数据点的工具。

Oct, 2022

使用 RNN-based encoder-decoder with attention model 和 Transformer 模型进行原型重建，分析了语言谱系启示信号。

Jul, 2023

该研究探讨了在自然语言处理中实用的序列分类任务通常受到目标类别低训练数据可用性的影响，利用原型网络的元学习范式在相关任务集合上进行转移学习来缓解这个问题，并使用数据增强在句子嵌入空间和原型嵌入空间来提高分类性能，相对于 5-shot 和 10-shot 学习中的最佳性能，结合元学习的增强提供了高达 6.49％和 8.53％的相对 F1 分数改进。

Jan, 2021

本文提出了一种名为 PrototypeFormer 的方法，通过探索原型关系，显著改进了传统的少样本图像分类方法。该方法采用变压器架构构建原型提取模块，旨在提取更具有区分性的类别表示，以用于少样本分类。此外，在模型训练过程中，提出了一种基于对比学习的优化方法，以优化少样本学习场景下的原型特征。通过在几个流行的少样本图像分类基准数据集上实验，证明了本方法优于所有当前最先进的方法，特别是在 miniImageNet 的 5-way 5-shot 和 5-way 1-shot 任务上分别达到 97.07％和 90.88％，超过最先进方法分别 7.27％和 8.72％的精度。代码将在之后发布。

Oct, 2023

ProFormer 是一种基于投影的变压器架构，使用 LSH 投影层动态生成字表示，提高了效率和空间利用率，使用本地投影注意层进一步减少计算量，相较于 BERT 模型在设备上的表现更快更小。

Apr, 2020

本文介绍了在 NLP 领域中使用头部计算机视觉模型的性能以及使用 transformers 后的表现，探讨了这些模型在意图识别任务中的应用情况，发现造成性能差异的因素为任务的类别数量，提出了一个简单的基线模型，所有实现的模型都会被公开。

Jan, 2021