使用核平均池化学习鲁棒的核集成

Sep, 2022

使用核平均池化学习鲁棒的核集成

Learning Robust Kernel Ensembles with Kernel Average Pooling

Pouya Bashivan, Adam Ibrahim, Amirozhan Dehghani, Yifei Ren

TL;DR我们引入了一种新的神经网络构建模块，Kernel Average Pool (KAP)，在长时间以来用于降低模型预测方差的模型集成和伪集成技术的基础上，提高了神经网络对于输入扰动的鲁棒性，并通过实验证明它能够与对抗训练的网络处于同一水平对抗各种形式的对抗性攻击。

Abstract

Model ensembles have long been used in machine learning to reduce the variance in individual model predictions, making them more robust to input perturbations. Pseudo-ensemble methods like dropout have also been commonly used in deep learning models to improve generalization. However,

ensemble pseudo-ensemble neural network robustness adversarial attacks

发现论文，激发创造

增强卷积神经切向核

该研究使用新操作 Local Average Pooling (LAP) 修正了 CNN-GP 和 CNTK 并采用 Coates 等人提出的图像预处理技术，成功将在 CIFAR-10 数据集上的分类准确率提升至 89％，具有与 AlexNet 相当的表现。

Nov, 2019

卷积和池化在核方法中的学习

本研究探讨了一层卷积、汇集和降采样操作组成的核的 RKHS，并用它来计算高维函数的一般化误差尖锐的渐近值。结果表明，卷积和池化操作在一层卷积核中如何在逼近和泛化能力之间权衡。

Nov, 2021

基于内核视角的深度卷积模型近似和学习

本研究通过核方法的角度对卷积核网络进行了研究，发现其 RKHS 由补丁之间的交互项的加性模型组成，其范数通过汇聚层促进这些项之间的空间相似性，并提供了泛化界，以说明池化和补丁如何提高样本复杂度保证。

Feb, 2021

群体参数平均化（PAPA）

PAPA 是一种结合了集成方法的一般性和权重平均值的效率的方法，其中一个由多个神经网络生成的种群根据其加权平均值进行更新，以提高性能。

Apr, 2023

核化胶囊网络

本文提出了使用非参数核方法对胶囊网络进行训练的一种改进方法，这种方法可提高胶囊网络的稳健性并提供有意义的不确定性测量，从而帮助检测敌对输入。该方法通过学习胶囊网络产生的表示来构建高斯过程的协方差核，并证明这种方法在提高对抗性干扰稳健性的同时实现了可比较的预测性能。

Jun, 2019

Viraliency：局部病毒性池化

本文介绍了一种基于深度学习的图像识别方法，利用所提出的 “纵向最大平均池化层”（LENA）来预测和定位网络传播的图像或视频，并在两个公共数据库上的实验中取得了优越的表现。

Mar, 2017

基于核的渐进式蒸馏技术用于加法器神经网络

本文提出了一种新的基于递进的核知识蒸馏方法 (progressive kernel based knowledge distillation, PKKD) 来改善加法神经网络 (Adder Neural Networks, ANNs) 性能的方法，并在多个基准测试上对所提出的方法的有效性进行了验证。

Sep, 2020

利用加权平均和多样化扰动改进集成蒸馏

该论文介绍了一种基于权重平均技术和扰动策略的集成神经网络蒸馏方法，有效地将多个教师网络的功能多样性吸收到一个适合资源受限环境中使用的学生网络中，并在多个图像分类任务上显著提高了性能。

Jun, 2022

通过促进集成多样性来提高对抗鲁棒性

该论文提出了一种新的方法，通过探索个体网络之间的交互来提高集成模型的抗干扰性，通过定义一种新的集成多样性的概念来在对抗性情境中促进网络多样性，并演示了一种适应性的多样性促进正则化器，以提高集成的鲁棒性。该方法在各种数据集上取得了良好的实验效果，同时保持了在正常情况下达到最新水平的精度。

Jan, 2019

关注池化网络

我们提出了一种名为 Attentive Pooling 的方法，可用于在神经网络中进行排名或分类，并且能够学习一种类似度量，以便使得输入内容能够影响彼此的表示，并引导池化。我们在三个基准任务中得到了最新的实验结果，并优于各种强基线模型。

Feb, 2016