Jul, 2019

信息瓶颈方法用于显著区域发现

PDF
TL;DR本文提出了一种基于信息瓶颈原理的半监督学习方法，用于学习图像注意力掩模。该方法使用标记的图像生成掩模，并最大化被掩蔽图像与图像标签之间的互信息，同时最小化输入和被掩蔽图像之间的互信息，所得到的注意力蒙版为布尔值类型。在 MNIST，CIFAR10 和 SVHN 等数据集上的实验结果表明，我们的方法可以成功地将注意力集中在定义图像类别的特征上。
image attention maskssemi-supervised learninginformation bottleneck principleimage classificationmutual information
发现论文，激发创造
  • 用于模型可解释性的基于遮罩的显著性方法研究与简化

    本研究采用掩蔽技术生成显著性地图，发现训练分类器的同时，采用掩蔽技术生成显著性地图具有很高的性能，并且 10 个样本每类也可以显著提高显著性地图的精度。

    Oct, 2020

  • InfoMask：掩蔽式变分潜在表示以定位胸部疾病

    本文提出了一种学习到的空间屏蔽机制，以过滤出注意力矩阵中的无关背景信号，并通过最大化掩蔽变分表示和类标签之间的信息，以使鉴别性区域更准确的定位，最终成功通过使用 ChestX-ray8 数据集实现了肺炎本地化而不使用任何像素级或边界框注释。

    Mar, 2019

  • 通过多视角信息瓶颈学习强大的表示

    本文提出了基于信息瓶颈原理的多视角无监督学习方法，通过对同一实体的两个视角进行对比得出冗余信息，进而定义新的多视角模型，在 Sketchy 数据集和 MIR-Flickr 数据集的标签受限版本上取得了最先进的结果；此外还通过数据扩增技术将理论扩展至单视角情况，实验证明更具有良好的泛化能力。

    Feb, 2020

  • 限制信息流：用于归因的信息瓶颈

    本研究使用信息瓶颈概念进行属性分析，通过添加噪声来限制信息流并量化图像区域提供的信息量，并在 VGG-16 和 ResNet-50 上对比了十种基线方法，发现我们的方法在五个设置中均优于所有基线。

    Jan, 2020

  • 一种概率硬注意模型，用于顺序观察场景

    本文阐述了一种利用 Bayesian Optimal Experiment Design 来选择信息区域的视觉 Hard Attention Model。通过合成未观察到的区域的特征来预测信息增益（EIG），并在 EIG 最大的位置上实际观察内容。这种模型使用递归特征聚合器维护递归状态，使用线性分类器来预测类别标签，并使用部分变分自编码器来预测未观察到区域的特征。我们使用可微分的目标函数对模型进行训练，并在五个数据集上进行测试。与基线模型相比，当两者只看到几个方向时，我们的模型获得了 2-10％更高的准确度。

    Nov, 2021

  • 预训练注意力机制

    通过引导模型关注输入的显著区域，或经过无监督预训练，可以提高循环神经网络在分类任务中的性能，同时可以提高注意力机制本身的效率。

    Dec, 2017

  • 掩蔽以改进卷积神经网络的对比式自监督学习，并揭示显著性

    通过在卷积神经网络中引入掩蔽操作作为额外的数据增强方法，并显式考虑显著性约束，本研究提出了一种改进的对比学习框架，以减轻包括掩蔽操作在内的对比学习中存在的问题，并在多个数据集、对比学习机制和下游任务上进行的广泛实验验证了其有效性和卓越性能。

    Sep, 2023

  • 通过眼罩驱动的信息瓶颈学习无监督的凝视表示

    本研究提出了一种新的无监督 / 自监督凝视预训练框架，通过协同特征对比和挤压模块，强制全脸分支学习一个低维度凝视嵌入，无需凝视注释，并采用交替注视 / 不注视眼睛的屏蔽训练方案，进一步提升学习到的表示，并取得了优于无监督最新技术的性能。

    Jun, 2024

  • 弱监督语义分割中信息瓶颈的降低

    本文通过对深度神经网络中信息瓶颈原理的分析，提出了一种处理像素级别的弱监督语义分割任务的新方法，该方法去除最后一层的激活函数并引入新的池化策略以弥补信息缺失，实验表明此方法在准确性和性能方面具有明显优势。

    Oct, 2021

  • 通过关注机制增强显著目标分割

    该研究通过迭代地关注图像补丁并进一步增强预测的分割掩模，使用基于 ConvGRU 网络的聚合策略独立估算每个图像补丁的显著性特征，实现端到端的图像分割，较现有方法表现更优，消除背景噪声和假阳性。

    May, 2019