DSIC: 深度立体影像压缩
本文提出一种名为 Deep Semantic Image Compression (DeepSIC) 的概念,提出两种新颖的架构,旨在重构压缩图像并同时生成相应的语义表示。在编码过程中,第一架构通过将一部分比特保留在压缩编码中存储语义表示进行语义分析。第二种在解码过程中使用嵌入到压缩码中的特征映射进行语义分析。通过在公开数据集上进行实验,验证本文的方法,并对所提出技术的优缺点进行了彻底分析。
Jan, 2018
提出了一种新颖的深度神经网络结构,用于在仅在解码器处存在相关图像侧信息时压缩图像,特别地,我们考虑一对立体图像并假设其中一幅图像要被压缩和传输,而另一幅图像仅在解码器处可用,我们的方法利用解码器只有的侧信息进行压缩并得到了比之前工作更好的结果。
Jun, 2021
该研究提出了一种基于三种新技术的统一框架,包括通道关注模块、高斯混合模型和解码器侧增强模块,命名为 EDIC,可用于基于学习的图像压缩,并说明该方法优于当前所有先进的图像压缩方法,同时将解码速度提高了超过 150 倍。
Feb, 2020
作者提出了一个基于深度学习的图像压缩神经网络,该网络利用仅仅面向解码器的附加信息,并基于编码器可用的图像和解码器可用的图像是相互关联的这一假设,在训练阶段让网络学习这些关联。然后,在运行时,编码器侧对输入图像进行编码而不知道解码器侧图像的任何信息,然后将其发送到解码器。解码器然后使用编码的输入图像和侧信息图像来重建原始图像。在信息理论中,这个问题称为分布源编码,并且我们讨论了这个技术的几个用例。我们将我们的算法与几个图像压缩算法进行了比较,并展示了添加仅面向解码器的附加信息确实可以改善结果。
Jan, 2020
本论文提出了一种基于深度语义分割的分层图像压缩 (DSSLIC) 框架,通过将输入图像的语义分割映射编码为比特流的基本层,并生成编码为第一个增强层的输入图像的紧凑表示,进而获得图像的粗略重构,并额外编码作为另一种增强层与输入图像的差值,该框架可以在 RGB 域的广泛比特率中在 PSNR 和 MS-SSIM 指标方面优于 H.265/HEVC-based BPG 和其他编解码器,并用于图像搜索和基于对象的自适应图像压缩等多项任务。
Jun, 2018
本文介绍了一种新的编解码方法,可以压缩成对立体图像并利用解码器端的相关性附加信息,以更有效地重构图像。该算法利用了交叉注意力模块对齐处理相关特征图,实验验证了其在 KITTI 和 Cityscape 数据集上的优越性能。
Jul, 2022
通过采用基于特征的快速级联对齐网络(FFCA-Net)来利用译码器上的辅助信息,提出了一种解决立体成像任务中解码延迟问题的方法,该方法利用了初始阶段的特征域补丁匹配模块和基于沙漏的稀疏立体细化网络以及轻量级高性能特征融合网络(FFF)来解码对齐的特征,实验证明该方法在解码速度上比传统和基于学习的 SIC 方法快 3 到 10 倍。
Dec, 2023
该研究提出了一种名为 CAMSIC 的立体图像压缩框架,通过引入一种新颖的内容感知蒙版图像建模(MIM)技术,以独立地将每个图像转换为潜在表示,并采用强大的无解码器 Transformer 熵模型,来捕捉立体图像中的空间位移特征,从而实现了最新的速率失真性能。
Mar, 2024
本文探讨了深度学习压缩技术中常用的 MS-SSIM 和 MSE 误差函数与人类感知之间的关系,提出了 Deep Perceptual Compression 技术,通过在深度感知指标和 MS-SSIM 之间进行联合优化,相比先前的学习压缩方法和 JPEG-2000 具有更好的视觉效果,并且在目标检测等任务中表现更好。
Jul, 2019
该研究提出了一种新的基于学习的方法,用于对深度图像进行积极的任务驱动压缩,并将其编码为适用于机器人系统碰撞预测的图像。通过提出一种新颖的 3D 图像处理方法,结合了机器人的尺寸,使得深度图像中表示的障碍物得到适当的 “膨胀”,从而获得机器人在摄像机视锥内沿任意给定射线可行碰撞避免方式的距离。利用这些密切相关的深度和碰撞图像对训练依据变分自动编码器架构的神经网络进行压缩和转换,以获得编码给定深度图像的碰撞信息的潜在表示。通过与经典的任务非特定方法进行比较,我们证明了我们提出的任务驱动编码方法在极低维潜在空间中用于碰撞图像预测任务时显示出更出色的性能。一系列的比较研究表明,该方法能够在高达 4050:1 的压缩比下更好地编码来自具有长距离的复杂场景中的薄障碍物的深度图像和碰撞图像对。
Sep, 2023