本文从图学习的角度，利用 Hypergraph Transformer 模型，通过在构造的超图上传递信息，得出在高维稀疏数据的特征表征学习中的相关性，从而更好地解决相关性的问题。

May, 2023

提出了 SparseTIR，一种为深度学习工作负载提供可组合格式和可组合转换的稀疏张量编译抽象。SparseTIR 对于单一操作符可以比供应商库获得 1.20-2.34 倍到 7.45 倍的性能加速。

Jul, 2022

研究了稀疏深度网络作为高维稀疏特征的预测任务的神经网络架构，并引入了一种混合粒度的特征交互选择方法，该方法同时针对特征域和特征值进行选择，通过实验结果证明该方法在准确性和效率方面表现出色。

Oct, 2023

STen 是一种基于 PyTorch 的稀疏编程模型和接口，支持几乎所有稀疏化方法，使深度学习模型具有高性能和易用性，特别是在训练过程中的稀疏化。

Apr, 2023

本文提出一种基于稀疏矩阵的计算优化方法，通过对深度学习应用中的稀疏矩阵进行深入研究，开发出可用于稀疏矩阵与密集矩阵乘法和采样密集 - 密集矩阵乘法的高性能 GPU 核，实现了神经网络模型的加速和内存节省。

Jun, 2020

本论文提出了一种名为 Sparse Transformer (DRSformer) 的去雨神经网络，它可以自适应地保留最有用的自注意力值以更好地促进高质量图像重建，并发展了一种有效的混合尺度前馈网络来为图像去雨生成更好的特征。

Mar, 2023

本文提出了一种新颖的架构来有效地利用权重和激活的稀疏性，通过外积计算原语和位图编码格式将二者结合起来。通过针对现有常见计算模式（矩阵乘法和卷积）的矩阵乘法和卷积算法的协同设计，提出一组新的 ISA 扩展，实现了这种设计，抓住现今深度神经网络模型的两个主流计算模式的稀疏性，并证明了我们的设想可以显著提高性能。

May, 2021

本研究提出了一种用于构建下一代 Transformer 模型的方法，即利用稀疏层进行有效缩放和高效执行非批量解码。结果表明，这种模型在拥有相同参数数量的情况下，可以获得与标准 Transformer 相同的效果，并且在长文本摘要方面表现优异。

Nov, 2021

SparseSpikformer 是一种通过令牌和权重修剪技术实现稀疏性的共设计框架，可以显著减少模型参数 90％并减少 20％的 GFLOPs，同时保持原始模型的准确性。

Nov, 2023

本研究主要介绍了张量网络、张量分解、多元分析，低秩逼近以及大数据分析等多个方面，并讨论了其在异常检测、特征提取、分类、聚类分析、数据融合和集成、模式识别、预测建模、回归、时间序列分析和多元分析等领域中的潜在应用。

Mar, 2014