CVPRMar, 2023

通过噪声扩展的信息瓶颈增强多重可靠性度量

PDF
TL;DR本篇研究提出了一种基于自编码器的混合辨别 - 生成训练方案，通过对抗威胁模型来增强模型对于预测信号和快捷信号的鲁棒性，实验结果表明该方案相比传统方案在多项可靠性上均表现良好。
predictive signalsshortcut signalsadversarial threat modelautoencoder-based trainingrobustness
发现论文，激发创造
  • 通过 DNN 瓶颈强化来防御对抗性样本

    本文提出了一种基于 DNN 的信息瓶颈增强方案，以减轻 DNN 对抗攻击的脆弱性。通过引入多尺度低通目标和多尺度高频通信来增强信息瓶颈，本方案能够有效地过滤冗余信息，对 MNIST、CIFAR-10 和 ImageNet 等数据集的实验结果表明其抵御各种对抗攻击的强大防御效果。

    Aug, 2020

  • 检索增强生成中有效的噪音过滤的信息瓶颈视角

    检索增强生成结合了大语言模型的能力和从广泛语料库检索到的相关信息，但在面对现实世界的噪声数据时面临挑战。本文提出将信息瓶颈理论引入检索增强生成，通过同时最大化压缩和生成结果的互信息，最小化压缩和检索到的内容之间的互信息，实现对噪声的过滤。实验结果表明，我们的方法在各种问答数据集中取得显著的改进，不仅在答案生成的正确性方面，而且在 2.5% 的压缩率下的简洁性方面也有明显提升。

    Jun, 2024

  • 模型合成中的多样性诱导信息瓶颈

    本文提出了基于多样性损失函数的神经网络集成方法，以适应多模态数据的建模，并证明了其在数据分布变化和识别未知数据方面的显著性能提升。

    Mar, 2020

  • 动态多模态信息瓶颈的多模态分类

    利用多模态数据，在医学诊断和预测任务中有效利用各种图像、实验室测试和临床信息的人工智能技术正在发展。本研究通过研究现有方法对数据冗余和噪声的鲁棒性，提出了一种广义的动态多模态信息瓶颈框架，用于获得稳健的融合特征表示。通过大量实验证明，我们的方法超越了现有技术，在存在大规模噪声通道时仍然具有优越性能。

    Nov, 2023

  • 条件熵瓶颈

    我们提出了评估模型质量的最小必要信息 (MNI) 准则，训练与该准则相对应的新的目标函数 Conditional Entropy Bottleneck (CEB) 模型以及比较该模型与确定性模型和变分信息瓶颈 (VIB) 模型表现的实验结果支持了我们关于机器学习中鲁棒泛化失败的假设。

    Feb, 2020

  • 通过多视角信息瓶颈学习强大的表示

    本文提出了基于信息瓶颈原理的多视角无监督学习方法，通过对同一实体的两个视角进行对比得出冗余信息，进而定义新的多视角模型，在 Sketchy 数据集和 MIR-Flickr 数据集的标签受限版本上取得了最先进的结果；此外还通过数据扩增技术将理论扩展至单视角情况，实验证明更具有良好的泛化能力。

    Feb, 2020

  • 通过强健信息瓶颈提取强健精准特征

    提出了一种用于在监督学习中提取特征的新策略，该方法在信息瓶颈的基础上引入了一个额外的惩罚项来鼓励提取的特征的 Fisher 信息在参数化输入时变小，从而实现分类器的更好鲁棒性。

    Oct, 2019

  • 重新思考基于重构自编码器的异常检测

    使用基于重构自编码器的方法处理离群样本检测问题，通过最大化压缩自编码器的潜在空间、语义重构、数据置信度分解和归一化 L2 距离等策略有效地提高方法性能，达到了各类基准测试的最新技术水平。

    Mar, 2022

  • 通过信息瓶颈改善自然语言处理模型对抗攻击鲁棒性

    本文利用信息瓶颈理论，研究消除易受攻击的非鲁棒特征，提取任务特定的鲁棒特征。通过大量实验证明，我们的方法可在 SST-2、AGNEWS 和 IMDB 数据集上除了几乎不受性能下降的情况下，在鲁棒准确度上实现显著提高，超过以往任何被报道的方法。

    Jun, 2022

  • 因果信息瓶颈提升深度神经网络对抗性鲁棒性

    本文将因果推断应用于信息瓶颈方法中，通过仪器变量对特征进行分离，以减轻因虚假相关性导致的限制，提高对抗鲁棒性。大量实验结果表明，该方法在 MNIST、FashionMNIST 和 CIFAR-10 数据集中有明显的对抗攻击鲁棒性。

    Oct, 2022