SAMN: 一个融合了 SVM 和 NN 的样本关注记忆网络

Sep, 2023

SAMN: 一个融合了 SVM 和 NN 的样本关注记忆网络

SAMN: A Sample Attention Memory Network Combining SVM and NN in One Architecture

Qiaoling Yang, Linkai Luo, Haoyu Zhang, Hong Peng, Ziyang Chen

TL;DR支持向量机（SVM）和神经网络（NN）具有很强的互补性。为了解决将它们真正整合起来的问题，本研究提出了一种样本关注记忆网络（SAMN），通过将样本关注模块、类原型和记忆块纳入神经网络中，有效地结合了 SVM 和 NN。SAMN 在多分类任务中显著提高了分类性能，而且在参数规模相似的情况下超过了单独的 SVM 或 NN 模型，以及之前最佳的 SVM 和 NN 结合模型。样本关注机制是一个灵活的模块，可以轻松深化并应用于需要的神经网络中。

Abstract

support vector machine (SVM) and neural networks (NN) have strong complementarity. SVM focuses on the inner operation among samples while NN focuses on the operation among the features within samples. Thus, it is

support vector machine neural networks sample attention memory network class prototypes multi-classification tasks

发现论文，激发创造

神经注意力存储

提出了一种新颖的关注机制，即神经关注记忆（NAM），它是一种可读写的记忆结构，并基于此设计了基于 NAM 的 MANN、few-shot 学习、N-way K-shot 学习和 Transformer 等模型，实验证明 NAM 在算法零样本泛化、减少假阳性等方面效果更好。

Feb, 2023

卷积自注意力网络

本篇论文介绍了一种新颖的卷积自注意力网络，通过引入多头注意力机制，加强了邻近元素之间的依赖关系，并能够对各个注意力头提取的特征之间的交互进行建模，用于机器翻译任务中能有效提高自注意力网络的本地性，实验证明该方法优于常用的 Transformer 模型和其他已有的模型，并且没有更多的额外参数。

Apr, 2019

自注意力：情感分析神经网络分类器的更好构建块

本文探讨了使用自注意网络 (Self-Attention Networks) 进行情感分析的有效性，发现相较于循环神经网络 (RNNs) 和卷积神经网络 (CNNs)，使用自注意网络在分类准确率、训练速度和内存消耗方面表现优越，并研究了多头注意力和序列位置信息等方面的改进效果。

Dec, 2018

透过动力系统视角理解自注意机制

基于动力系统视角和自适应步长方法，本文提出自注意力机制与内在分型现象以及刚性信息的测量与适应性关系，新的理论视角能够解释自注意机制对模型性能的影响，并且启发了一种新的算法 StepNet。大量实验证明 StepNet 能够提取细粒度的刚性信息并有效度量分型现象，从而在多种视觉任务中取得显著的性能改进。

Aug, 2023

基于显著性引导的图像 - 句子匹配注意力网络

该研究旨在探讨图像和句子之间的匹配问题，提出了一种 Saliency-guided Attention Network 架构，包括视觉注意力和文本注意力模块，能够有效地提高多模态数据表示的准确性，并在 Flickr30K 和 MSCOCO 数据集上取得了大幅度的提升。

Apr, 2019

nnSAM: 插拔式分段模型提升 nnUNet 性能

将基础模型和领域特定模型相结合，nnSAM 在医学图像分割中提供了更准确、更健壮的解决方案，并允许少样本学习。

Sep, 2023

QKSAN：一个量子核自注意力网络

引入了量子核自注意机制 (QKSAM) 来增强量子机器学习模型在大规模高维量子数据上的效果，构建了基于 QKSAM 的量子核自注意网络 (QKSAN)，结合了量子核方法 (QKM) 的数据表示优势和自注意机制的高效信息提取能力，通过延迟测量原则和条件测量技术来释放计算过程中的量子资源，实现了四种 QKSAN 模型在 Pennylane 平台上对 MNIST 图像进行二分类，其中最好的模型具有较强的噪声容忍性和学习能力；该研究为未来量子计算机在大数据上进行机器学习提供了基础，并推动了量子自然语言处理等领域的进展。

Aug, 2023

基于选择性注意力调控的持续学习

本文介绍了一种生物可行的选择性注意力驱动的调制方法，用于增强连续学习环境中的分类模型；通过使用辅助显著性预测特征作为调制信号来驱动和稳定学习非独立同分布分类任务序列，并证实该方法可以有效地提高当下最先进的连续学习方法的性能（在某些情况下高达约百分之二十），无论是在类别增量设置还是任务增量设置中；此外，研究显示基于注意力的调制有助于学习对于伪特征的存在和对对抗攻击更加稳健的特征。

Mar, 2024

时间网络需要复杂模型架构吗？

本文提出 GraphMixer 框架，该框架由三个组件组成，使用 MLP 和邻居均值池化技术相结合，能够更快地收敛，并在时序链接预测任务上取得了优秀的性能表现，从而重新思考了更为简单的模型架构对于时序图学习的重要性。

Feb, 2023

推动脉冲神经网络迈向多尺度时空交互学习

本研究介绍了跨尺度时空交互信息获取的脉冲神经网络 (Spiking Neural Networks, SNNs)、注意力区域阻塞 (Attention ZoneOut, AZO) 的正则化方法，并验证了这种方法在弥合 SNN 模型与传统人工神经网络模型之间性能差距方面的有效性。

May, 2024