EntProp：提高准确度和鲁棒性的高熵传播

May, 2024

EntProp：提高准确度和鲁棒性的高熵传播

EntProp: High Entropy Propagation for Improving Accuracy and Robustness

Shohei Enomoto

TL;DR通过混合分布中的辅助批归一化层实现的解缠耦学习技术能够提高深度神经网络的标准准确性和对于外部分布域的鲁棒性。本文提出了高熵传播（EntProp）方法，通过增加样本的熵来生成远离内部分布域的样本，并通过数据增强和自由对抗训练技术实现，从而能够在较小的数据集上获得更高的准确性和鲁棒性。

Abstract

deep neural networks (DNNs) struggle to generalize to out-of-distribution domains that are different from those in training despite their impressive performance. In practical applications, it is important for DNNs to have both high standard accuracy and robustness against →

deep neural networks out-of-distribution domains disentangled learning entropy high-entropy propagation

发现论文，激发创造

快速 AdvProp

本文介绍了一种名为 Fast AdvProp 的改进 Adversarial Propagation（AdvProp）的方法，通过去除不必要的训练组件，提高了训练速度，并采用不同于其他训练配方的具有纠缠性的学习方法，进一步提高了模型性能，在不增加训练成本的情况下，成功地在多个视觉基准上取得了优异表现。

Apr, 2022

通过对抗性噪声传播训练强大的深度神经网络

本篇论文提出了一种名为 Adversarial Noise Propagation 的训练算法，将噪声注入隐藏层以提高深度模型的鲁棒性，并证明不同的隐藏层对模型鲁棒性和整洁的准确性有不同的贡献。该算法可有效地与其他对抗性训练方法相结合，进一步提高模型的鲁棒性。在 MNIST、CIFAR-10、CIFAR-10-C、CIFAR-10-P 和 ImageNet 上的广泛实验表明，ANP 实现了深度模型对对抗性和受损数据均具有强大的鲁棒性，并明显优于各种对抗性防御方法。

Sep, 2019

基于熵的深度神经网络引导加速收敛与提升性能

通过引入基于熵的损失项，我们提出了一种新的方法来加强神经网络学习丰富的潜在数据表示，在更少的维度上收敛于更好的测试指标，并在图像压缩和图像分类的实验中展示了其有效性。

Aug, 2023

分布式神经网络中熵模型的弹性

通过实验证明，熵攻击可以增加传输开销高达 95%，提出一个新的防御机制，可以将受攻击输入的传输开销减少约 9%，只有约 2% 的准确度损失，并提出该防御机制可以与对抗训练等方法结合使用以进一步提高鲁棒性。

Mar, 2024

通过边连接保持确信熵的鲁棒无监督领域自适应

无监督领域适应的研究中，我们提出了一种新的方法，通过在熵对抗网络中丰富判别器网络的边缘预测概率值，结合内部和外部信息以提高对象边界的清晰度，进而改进了领域适应质量。实验证明，该方法在多种无监督领域适应场景中具有出色的性能。

Oct, 2023

使用熵对抗数据增强来超越偏见

该论文提出了一种对抗性数据增强的训练方案，以消除分类中的捷径，提高深度神经网络的鲁棒性，并在分类基准测试中取得了竞争力的结果。

Jan, 2023

对抗性示例提升图像识别

本文提出一种增强的对抗训练策略 AdvProp，将对抗样本作为额外的样本引入训练过程，使用单独的辅助批归一化来处理对抗样本，进一步提高图像识别模型的准确性，在各种图像识别任务中均得到了提升，特别是在最新的 EfficientNet-B7 上，我们实现了达到前沿水平的表现。

Nov, 2019

低熵潜变量损害了越界性能

本研究讨论中间表示的熵和模型对分布变化的鲁棒性之间的关系，证实去除低熵比特可以显著提高模型在分布变化方面的表现，但去除高熵比特会不利于模型表现。

May, 2023

基于最优输运的条件分布熵检测异常样本

通过建立优化方程，利用训练样本和测试输入的几何信息，提出了一种无需依赖分布假设、先验知识和特定训练机制的新型距离方法，用于在存在测试输入的情况下，有效利用分布信息来判断样本是否为来自分布之外的样本，并在基准数据集上展开的大量实验证明了该方法在区分来自分布之外样本上的性能优越性。

Jan, 2024

对于分布转移下的对抗鲁棒性的通用性

本研究探讨了基于域一般化的经验和认证鲁棒性之间的相互影响，并发现两种鲁棒性均适用于未知的数据域。同时我们也证明，在医学应用中，对抗性增强显著提高了鲁棒性的泛化能力，对数据准确性影响不大。

Sep, 2022