通过 k-Winners-Take-All 提升敌对防御

May, 2019

通过 k-Winners-Take-All 提升敌对防御

Enhancing Adversarial Defense by k-Winners-Take-All

Chang Xiao, Peilin Zhong, Changxi Zheng

TL;DR在神经网络结构中使用 k-Winners-Take-All 激活函数取代传统激活函数用以防御梯度攻击，该方法可用于现有的网络结构和训练方法，在白盒攻击下具有更好的鲁棒性。

Abstract

We propose a simple change to existing neural network structures for better defending against gradient-based adversarial attacks. Instead of using popular activation functions (such as ReLU), we advocate the use of k-Winners-Take-All (k-WTA) activation, a C0 discontinuous function that

neural network adversarial attack k-winners-take-all activation gradient-based search robustness

发现论文，激发创造

k 胜出者全取模式集成神经网络

基于 k 取胜神经元激活函数的合作集成神经网络（kWTA-ENN）是一种改进的集成方法，通过并行训练子网络并利用 k 取胜神经元激活函数，实现了专业化与知识共享的平衡，其在基准数据集上达到更好性能，例如 98.34％的 MNIST 测试准确率。

Jan, 2024

末隐藏层激活的非合理有效性对于对抗性稳健性的影响

研究了在输出层使用高温度值的激活函数对于防御基于梯度的对抗攻击的效果，并在 MNIST 数据集上实验验证了其方式可以显著提高对抗攻击的鲁棒性。

Feb, 2022

利用 WTA 哈希加速大规模分类的神经网络

该论文提出了使用优胜者通吃哈希技术来加速卷积神经网络中的全连接层的前向传播和反向传播。该技术显著降低了计算复杂度，使我们能够训练具有大量核的层而无需付出时间代价，并通过实现在训练期间提供 7 倍的速度提升，证明了该技术的有效性。

Apr, 2015

竞争型电路网络的集体稳定性

通过近似正常的皮层结构为许多相互连接的合作竞争模块，我们建立了一种极其普遍的系统，以系统地推理任何网络的稳定性，由共享抑制产生竞争的网络，WTA 网络可以是多稳定的，并展现状态相关的持续活动。

May, 2011

通过通道级激活抑制来提高对抗性鲁棒性

本文从渠道角度分析对抗 perturbations 特性，提出了一种基于通道的抑制策略 (CAS) 用于训练一个本质上抑制对抗激活的模型，进一步改善现有防御方法的鲁棒性。

Mar, 2021

理解局部竞争网络

本研究旨在探讨神经网络激活函数中的本地竞争机制，并发现这种自我模块化特性的有益性，证明这种特性能有效提高网络性能，此外还表明该方法在利用神经网络有效地检索大型数据集方面具有广泛应用前景。

Oct, 2014

理解和提高 Frank-Wolfe 对抗训练的效率

通过 FW-AT 理论框架提出一种新的对抗训练算法 - FW-AT-Adapt，它使用简单的扭曲度量来调整训练中的攻击步数，从而提高效率而不影响鲁棒性。与其他单步方法相比，FW-AT-Adapt 在多步 PGD-AT 的鲁棒性与训练时间上提供了最小的损失。

Dec, 2020

基于自上而下调节的 WTA 网络的贝叶斯信息集成

本文研究了 Winner Take All（WTA）回路在整合分布于不同 WTA 网络中的信息以及通过自上而下的过程改进 WTA 网络推理和学习性能方面的适用性，并确认其可根据关键的神经形态学原理实现低延迟和高能效的神经形态硬件。

Aug, 2023

面向内存节省的语言模型自适应的全赢行列抽样

该研究提出了一种基于 WTA-CRS 估计器的模型参数量较少、内存占用较少的 transformers 模型训练优化方法，该方法在保证模型精度的情况下，可以替代传统优化方法实现更快更稳定的训练。

May, 2023

一种寻找更好激活函数的方法

通过信息熵的角度，本研究理论上证明了存在具有边界条件的最差激活函数，提出了基于熵的激活函数优化方法（EAFO），并从 ReLU 中推导出了一种新的激活函数 CRReLU。实验证明 CRReLU 在深度神经网络中表现优异，并在大型语言模型细调任务中展现出与 GELU 相比的卓越性能，显示其广泛的实际应用潜力。

May, 2024