Jan, 2024

Gzip 用于二进制图像分类的强归纳偏差

PDF
TL;DR在计算机视觉中，深度学习网络已成为行业和研究领域的事实标准；然而，在自然语言处理领域的最新发展表明，在一些领域中，具有强归纳偏差的无参数模型可以作为计算成本更低、更简单的替代选择。我们提出了一种用于二进制图像分类的模型：最近邻分类器与通用压缩工具 Gzip 相结合。我们对其进行测试并与 Resnet、EfficientNet 和 Mobilenet 等流行的深度学习网络进行比较，结果显示其在 few-shot 情景下能够实现更高的准确性并且利用的空间显著减少，达到了数量级的差异。因此，我们认为这突显了在 few-shot 情景中具有更强归纳偏差的模型的潜力。
发现论文，激发创造
  • 有损压缩用于无损预测

    本文利用无监督目标设计神经压缩器进行图像压缩，以满足具有数据增强特征的所有预测任务的高性能，实现了大幅度节省数据率的效果，同时不会降低下游分类性能。

    Jun, 2021

  • 基于深度学习的显微图像压缩：实证研究

    利用经典和深度学习的图像压缩方法对基于深度学习的图像处理模型进行分析并比较，表明深度学习的压缩技术在 2D 情况下在保持预测准确性的同时显著优于传统方法，并对图像压缩对下游深度学习图像分析模型的影响进行评估。

    Nov, 2023

  • DeepN-JPEG：一种基于 JPEG 的深度神经网络有利的图像压缩框架

    本研究开发了一种基于人类视觉和深层神经网络架构的图像压缩框架 DeepN-JPEG 来降低智能物联网系统中数据存储和传输开销，并通过实验证明该方法能够在保持图像识别准确性的同时，实现高达 JPEG 的 3.5 倍的压缩率，具有在基于 DNN 智能物联网系统设计中提升存储和能量效率的巨大潜力。

    Mar, 2018

  • 文本深度学习模型压缩综述

    本文综述了近年来自然语言处理和信息检索领域的深度学习模型在压缩方面的六种方法，并探讨了构建高效、小型模型的重要性以及相关研究成果。

    Aug, 2020

  • 面向资源受限的边缘计算系统的受监督压缩

    本研究旨在通过利用知识蒸馏和神经图像压缩的思想，采用先进的监督压缩方法，使用带有随机瓶颈的教师模型和学生模型，以及可学习的熵编码先验方法来更高效地压缩深度学习的中间特征表示。我们在三个视觉任务上将我们的方法与各种神经图像和特征压缩基线进行比较，并发现我们的方法在保持端到端时延更小的情况下，实现了更好的受监督的率失真性能。我们还展示了学习到的特征表示可以调整为服务于多个下游任务。

    Aug, 2021

  • 基于深度特征的几乎无损压缩在协作智能中的应用

    研究合作智能的新范式，提出了一种简单有效的接近无损的深度特征压缩器，在移动和云端之间分配网络以最小化系统的总能耗和 / 或延迟，同时探讨深度特征数据与自然图像数据之间的差异，并建议从压缩的深层特征中重建输入图像的方法，以补充深度模型所执行的推断。

    Apr, 2018

  • 语言建模即压缩

    通过压缩模型来解决预测问题和训练大型语言模型的相关研究，大型语言模型展现出强大的预测和压缩能力，此视角为规模定律、分词和上下文学习提供了新的观点，并且可以使用任何压缩器构建条件生成模型。

    Sep, 2023

  • 深度压缩图像解码无损图像理解

    该研究提出在深度神经网络图像压缩编码产生的图像压缩表示基础上直接进行图像分类、分割等理解任务，验证了这种方法可以大幅降低计算成本并保证相近的识别准确率，并且联合训练压缩网络和分类网络可以提高图像质量、分类精度和分割性能。

    Mar, 2018

  • Gzip 与词袋模型在 KNN 文本分类中的对比

    压缩距离的有效性在基于 KNN 的文本分类（gzip）中最近引起了很多关注。在这篇论文中，我们展示了使用更简单的方法可能可以实现类似或更好的效果，而文本压缩可能并不是必要的。实际上，我们发现简单的词袋匹配可以实现类似或更好的准确性，并且更高效。

    Jul, 2023

  • 改进的贝叶斯压缩

    本文提出了结合软权重共享和变分 dropout 方法的神经网络模型压缩新方法，达到了工业规模使用的标准。

    Nov, 2017