论文研究了采用低秩 n 元张量和模式加权的时序卷积网络（TCN）用于文本处理，在标准的情感分类和新闻分类任务中实现了最新的性能

Aug, 2015

本文中，我们介绍了一种利用卷积神经网络检测具有局部平移不变性和长远主题型注意力特征的关注神经网络，用于解决将源代码片段极端归纳为类似函数名称的概述的问题，在十个流行的 Java 项目中进行测试，并显示出优于之前注意性机制的性能。

Feb, 2016

本文提出了基于注意力卷积网络的端到端场景文本识别方法，通过卷积神经网络 (CNN) 代替循环神经网络 (RNN) 来实现输入序列的上下文依赖关系的准确捕捉，提高了识别效率，并结合残余注意力模块进一步提高特征识别的准确性。该方法在多个数据集上验证结果显示了显著的性能优势。

Sep, 2017

本文研究了使用自我关注（self-attention）和动态卷积（dynamic convolutions）两种机制建立语言和图像生成模型的效率以及准确性问题，并证明了动态卷积在大规模机器翻译、语言模型和提取式摘要等任务中的表现优于强的自我关注模型，得到了 WMT'14 英德测试集中 29.7 BLEU 的最高分。

Jan, 2019

本文针对使用卷积操作在视觉任务中只关注局部局部信息、缺乏全局信息的不足，提出运用自注意力机制对视觉任务进行处理的方法；通过在图像分类和目标检测任务中实现卷积和自注意力的融合，可有效提高模型精度。

Apr, 2019

本文主要研究了深度学习中卷积神经网络在文本分类中的局限性，提出了一种基于序列卷积注意力递归网络（SCARN）的新模型，在多种文本分类任务中均取得了优异的表现，且参数数量较少，同时超越了其他很多深度 CNN 和 LSTM 模型的性能。

Aug, 2019

本文提出了一种名为 TextConvoNet 的基于卷积神经网络的体系结构，不仅可以提取句内 n-gram 特征，还可以捕获输入文本中的句间 n-gram 特征，进而优于现有的文本分类用的机器学习和深度学习模型。

Mar, 2022

本研究表明防止卷积操作而采用自注意层可以获得与卷积层相同的表现，这提供了一种证明多头自注意层与卷积层至少具有相同表征能力的方法。

Nov, 2019

我们的研究工作提出了一种用于句子分类的 Squeeze-and-Excitation 卷积神经网络（SECNN），该网络利用多个 CNN 的特征图作为句子表示的不同通道，并结合通道注意机制（SE attention mechanism）学习不同通道特征的注意权重，实现了在句子分类任务上先进的性能。

Dec, 2023

卷积神经网络是建模视觉皮质神经元转移函数的最先进方法。这篇论文发现，与参数匹配的标准卷积神经网络相比，非局部网络或自注意机制在整体调谐曲线相关性和调谐峰值这两个关键度量上可以提高神经响应预测，并且可通过分解网络确定每个上下文机制的相对贡献，揭示了局部感受野中的信息对于模拟整体调谐曲线最为重要，而周围信息对于表征调谐峰值至关重要；并且在学习过程中自注意力可以取代后续的空间整合卷积，与全连接输出层相结合，两种上下文机制相辅相成；最后，学习以接受感受野为中心的自注意模型，在逐步学习全连接输出之前，能够提供更具生物学现实性的中心 - 周围贡献的模型。

Jun, 2024