通过使用稀疏注意力机制的神经网络，我们介绍了一种名为 SACC 的方法用于代码分类任务，其中把源代码分为子树序列，并使用递归神经网络编码以及 Transformer 模型进行分类，证明了其在代码分类任务中的有效性和效率。

Nov, 2023

本文研究了 CodeBERT 模型基于 AST 和静态分析，通过自我关注机制和 Masked Language Modelling（MLM）在令牌级别上学习代码语法和语义的能力，展示了其中自我关注机制在了解代码语法和语义方面的关键作用，并提出了一组任务来分析 CodeBERT 模型，同时，文章还提出了一种替代方法来预训练模型，充分利用当前的预训练策略，即 MLM，以学习代码语法和语义。

Dec, 2022

使用 AST（抽象语法树）的 AST-T5 模型在代码生成、转译和理解任务中表现出色，保留了代码结构，对重建各种代码结构具有强大的能力，并在各种代码相关任务中优于类似尺寸的其他大型语言模型。

Jan, 2024

AST-MHSA 是一个使用多头注意力机制从抽象语法树中提取重要语义信息的模型，它包括编码器和解码器两个主要组件，编码器将代码的抽象语法树作为输入生成隐藏状态序列，解码器以这些隐藏状态为输入生成代码的自然语言摘要。

Aug, 2023

通过使用 Code Structure Aware Transformer (CSA-Trans) 和 Stochastic Block Model (SBM) attention，本研究在源代码中应用 Transformer 架构，以提取 AST 的节点关系并生成节点位置编码以实现代码概括。评估结果表明我们的位置编码能够更好地捕捉 AST 节点之间的关系，并且 SBM attention 能够生成更多节点特定的关注系数。通过对 Python 和 Java 代码的概括任务，CSA-Trans 在性能上优于 14 个基准模型，并且相比于 AST-Trans 和 SG-Trans，Java 数据集的速度提高了 41.92％，内存利用率提高了 25.31％。

Apr, 2024

通过引入 SPARSEK Attention，将自注意机制的计算和内存障碍降到最低，提供线性时间复杂度和恒定的内存占用，实现了更高效的长序列处理和管理。

Jun, 2024

本文介绍 Sparse Adaptive Connection（SAC）方法，将输入序列视为图，并通过构建关注边，以改进任务特定性能，优化了自注意力机制。通过在图形表示学习和图像分类中实施的广泛实验，证明了 SAC 在减少内存成本的同时，可以与最先进的模型竞争。

Mar, 2020

我们提出了一种结构增强的、即插即用的 CodePTMs 精调方法，以填补在精调 CodePTMs 时如何增强结构知识吸收的重要挑战，并用多任务学习来提高精调性能。实验证明，这种方法在四个预训练模型和两个生成任务中具有有效性，并且我们观察到在有限的训练数据下，SAT 可以更好地对 CodePTMs 产生益处。

Apr, 2024

SEA 提出了稀疏线性注意力机制，通过基于核的线性注意力估计注意力矩阵，然后使用 top-k 选择生成对完整注意力矩阵的稀疏近似，以解决 transformers 在处理长序列时的复杂性问题，并保持可解释的注意力矩阵和利用知识蒸馏来降低预训练 transformers 的复杂性。

Oct, 2023

ALISA 是一种算法 - 系统共同设计解决方案，旨在解决 KV 缓存所带来的挑战。通过引入高度稀疏的注意力层和优化缓存与重新计算之间的权衡，ALISA 在有限资源的系统中最大化整体性能。

Mar, 2024