Aug, 2019

二分类任务的 Pareto 最优数据压缩

PDF
TL;DR该文提出了一种关于图像分类任务下的 Pareto frontier 映射和压缩的方法，通过找到相应的映射和压缩方法，分别最大化互信息和最小化熵，从而在保证信息完整性的同时，最大化信息与目标之间的相关性，而且该方法可以被解释为一种信息论优化的图像聚类算法。
lossy data compressionmutual informationpareto frontierdiscrete information bottleneckimage clustering algorithm
发现论文，激发创造
  • 有损压缩用于无损预测

    本文利用无监督目标设计神经压缩器进行图像压缩，以满足具有数据增强特征的所有预测任务的高性能，实现了大幅度节省数据率的效果，同时不会降低下游分类性能。

    Jun, 2021

  • 确定性信息瓶颈

    本文介绍一种替代信息瓶颈方法（IB）的确定性信息瓶颈（DIB），使用熵来度量压缩，得到硬聚类的解决方案，与 IB 相比，DIB 在 DIB 成本函数上明显优于 IB，并在收敛参数范围内提供计算效率的大幅提升。

    Apr, 2016

  • 利用深度生成模型进行保持分布的有损压缩

    本文提出并研究了分布保持有损压缩问题，旨在优化速率失真间的平衡，使重建样本符合训练数据的分布，并通过采用 Wasserstein GAN 和 Wasserstein 自编码器的组合等方法，进行了理论和实证分析。

    May, 2018

  • 利用多级字典进行无损图像压缩：二值图像

    基于空间结构和二值图像的模式，本研究提出了一种具有低复杂度和性能保证的无损图像压缩方案，通过学习字典从二值图像中编码，取得了比传统方法、学习方法和专用方案更好的压缩性能。

    Jun, 2024

  • 最大熵方法在图像表示中的信息泄漏缓解

    本文探讨了学习最小化图像表示中的信息泄露的问题，并通过对抗性非零和游戏的形式表述该问题，提出了一种新方法。实验结果表明，该方法能够学习高任务性能的图像表示，同时减少了预定义敏感信息的泄露。

    Apr, 2019

  • 重新思考无损压缩：速率 - 失真 - 感知之间的权衡

    通过采用 Blau & Michaeli 2018 年提出的感知质量的数学定义，研究了速率、失真和感知之间的三重权衡，我们证明了该三重权衡的几个基本属性，并在一个玩具 MNIST 例子上进行了可视化说明。

    Jan, 2019

  • 关于感知有损压缩：感知重构成本及最优训练框架

    该研究提出了一种全新的训练框架，使用生成对抗网络（GAN）和优化过的编码器来实现在完美感知质量下给定比特率的最低均方误差（MSE）畸变。

    Jun, 2021

  • 压缩、泛化和学习

    本文提出了一种新的理论，可以控制压缩函数（称为 “风险” 的压缩函数的改变概率），并证明了压缩集合的基数是风险的一致估计量的条件。结果可用于不需要先验知识的全面无偏配置中。这些结果不仅可用于完全了解驱动方法的信任，而且在学习技术中，还可以作为超参数调整的工具。

    Jan, 2023

  • 轻量级概念词典学习在文本分类中的应用

    我们提出了一种新颖的轻量级监督字典学习框架，用于基于数据压缩和表示的文本分类。该算法通过 LZW 算法从文本数据集构建字典，优化字典元素并考虑标签数据，生成区分性数值表示，以便训练 SVM 和神经网络等简单分类器。我们通过信息瓶颈原理进行信息理论性能评估，并引入信息平面区域排名为新的度量指标。在六个基准文本数据集上的测试中，我们的算法与顶级模型表现接近，尤其在有限词汇环境下，使用显著少的参数。然而，在多样词汇数据集上表现不佳，可能是由于 LZW 算法在低重复数据上的限制。这个对比突出了它在不同数据集类型上的效率和局限性。

    Apr, 2024

  • 从压缩的角度看统计学习

    本文研究了样本压缩方案与统计学习之间的关系，探究了学习能力与可压缩性之间的等价性，并在多类别分类问题中研究了统计学习理论。作者证明了在零 / 一损失分类的情况下，可学习性等价于对数样本大小的压缩，并且一致收敛意味着恒定大小的压缩。作者还探究了在 Vapnik 的一般学习设置下压缩能力与学习能力的等价性，并给出了一些在多类别分类问题中的应用。

    Oct, 2016