本文提供了一种全面的方法，可以在可扩展的方式中将各种掩码机制纳入 Transformers 架构。我们提出了一种基于拓扑的建模方法，可以生成高效的 d 维 RPE 掩码和图核心掩码。

Jul, 2021

本研究中，我们提出了一种名为 MaskNet 的新型深度神经网络模型，它采用一种实例引导掩码技术，有效地解决了在 CTR 估计中常见的特征交互问题，并展示了其在排名任务中的优越性，证明了实例引导掩码在构建高性能排名系统中的有效性。

Feb, 2021

通过 HyperMask 方法，利用受 Lottery Ticket Hypothesis 影响的超网络产生适应新任务的半二值掩码，从而解决了人工神经网络在连续训练多个任务时遇到的灾难性遗忘问题。

Sep, 2023

本研究提出了一种新的称为掩码多样性的度量方法来降低 DNN 的内存占用，并介绍了一种可同时用于前向和后向传递的新型可转置细粒度稀疏掩码，通过使用最小成本流问题来寻找最优的可转置掩码，并且还提出了一种将无结构稀疏模型转换为 N:M 细粒度块稀疏模型的方法。

Feb, 2021

利用动态代码查找和稀疏性映射等方法，构建了一个矢量化和并行矩阵乘法系统，针对人工智能工作负载中的稀疏数据表示进行了优化，从而显著提升了性能。

Feb, 2024

本文介绍了一种深度随机神经网络的推理方法，称为多层向量近似信息传递（ML-VAMP），通过推导模型的均方误差（MSE），它在高维度下具有严格的性能可达性结果。

Jun, 2017

提出了一种矩阵神经网络（MatNet），通过双线性映射从上一层单元中感知总结信息，并方便地扩展到多模输入，应用于 MNIST 手写数字分类和图像超分辨率任务中，具有与最先进方法可比较的性能和大大降低的复杂性。

Jan, 2016

本文研究了可视识别算法中增量学习的问题，并探讨了一种基于二进制掩码的深度神经网络多任务学习方法，试验结果表明本方法能够超越传统的微调策略并取得最新公开数据集中的最高水平。

May, 2018

本文提出了一种新颖的方法，通过权重选择和反转来训练神经网络，达到高达 99% 的剪枝率，而仍然可以匹配或超过各种基线和以前的模型的性能。

Jan, 2022

提出了一种基于注意力机制的学习图表的简单替代方法，被称为图形掩码注意力（MAG），在长距离任务上具有最先进的性能，并在超过 55 个节点和图级任务中优于强大的信息传递基线和复杂的注意力方法。与图神经网络相比，显示了显着更好的迁移学习能力，并具有与节点或边数目的次线性内存缩放相比较的相当或更好的时间和内存缩放性能。

Feb, 2024