本文介绍了 Hyena，一种亚二次的 attention 替代方法，它通过交错的启发式参数化长卷积和数据控制开关的方式进行构建，能够有效地解决 Transformers 中 quadratic cost 的问题，并且在大规模自然语言处理任务中实现了 Transformer 模型一致的精度，同时减少了 20% 的训练计算资源。

Feb, 2023

通过使用基于多个轴的新型 Hyena 层，我们提出了一种不依赖于自注意力机制的高效视觉 Transformer，并且实验证明该方法在多个数据集上提升了各种 Vision Transformer 架构的性能。

Sep, 2023

基于 Hyena 操作符的等变长卷积模型 SE (3)-Hyena，在保持旋转和平移等变性的同时，以次二次复杂度捕捉全局几何上下文，处理长序列时比等变自注意力机制更省内存和计算资源。

Jul, 2024

通过提取低维线性状态空间模型以及改进卷积层的结构，本文实现了每个标记的 O (1) 计算和内存开销，从而降低内存占用并提高生成过程的吞吐量，而无需牺牲质量。

Oct, 2023

为了更好的利用 Transformer 的潜力以进行图片重构，在融合通道注意力和基于窗口的自注意机制的优势的基础上提出了一种新型的 Hybrid Attention Transformer 模型。此外，还引入了重叠交叉注意力模块并采用相同任务的预训练策略，拓展模型的能力。实验证明这个模型在图片超分辨率方面的表现优于现有方法超过 1dB。

May, 2022

介绍了一种增强大型语言模型在处理和理解大量文本序列方面能力的新方法，通过提出一种名为斑马的新型模型架构，有效地处理了 Transformer 中全注意力所带来的二次时间和内存复杂度问题，通过使用分组的局部 - 全局注意力层平衡局部和全局注意力，显著降低了计算需求和内存消耗，同时提高了训练和推理的效率。

Dec, 2023

本文提出了一种特别为密集预测设计的新的卷积网络模块，该模块利用扩张卷积系统地汇集多尺度上下文信息，而不会丢失分辨率，并证明了该模块可以提高现有最先进的语义分割系统的精度。同时，作者还探究了将图像分类网络适应于密集预测的可能性，并提出了简化适应后的网络结构有助于提高精度。

Nov, 2015

本文介绍了一种基于上下文感知的神经网络，可以用于对数字组织病理学图像进行更高分辨率的分析，并在结肠癌分级和乳腺癌分类方面获得了比传统方法更好的结果。

Jul, 2019

本文描述了一种名为 ECANets 的新型神经网络模型，它能够通过捕获全景图像中内在的长程相关性来对城市环境进行分割，以及该模型的训练策略和评估结果。

Mar, 2021

该论文提出了一种基于层次化注意力融合网络和多尺度特征的 2D 图像检索方法，通过自监督训练控制特征强调的权重，实现了对地理定位场景的精确定位。实验结果表明，该方法优于现有的最先进方法。

Feb, 2021