Aug, 2024

潜在隐式神经网络：具有判别语义的视频隐式表示灵活框架

HTML
PDF
TL;DR本研究解决了视频隐式神经网络在缺乏语义信息下，无法支持后续任务的问题。通过提出一个灵活框架，将视频的时空特征解耦，利用学习到的每帧潜在特征与大型视觉模型对齐，从而实现压缩和视频检索的优异性能。最大的发现是，该方法不仅实现了高效压缩，还可用于视频插值等多种任务，开创了领域的新方向。
发现论文，激发创造
  • 利用现有资源：使用协同信息源提取视频表示

    该论文旨在将来自不同模态的视频信息压缩为单一、紧凑的表示形式，以用于自由格式文本查询的视频检索任务。通过运用预训练的语义嵌入、自动语音识别和光学字符识别等方法，采用协作专家模型来聚合信息，具有良好的检索性能。

    Jul, 2019

  • VideoINR：学习视频隐式神经表示实现连续的时空超分辨率

    本研究提出了Video Implicit Neural Representation (VideoINR)的框架，支持任意空间分辨率和帧率的STVSR，相比之前的方法在超出训练分布范围的数据上表现出更好的性能，这对提高视频质量有着很大的实际意义。

    Jun, 2022

  • 面向多样化视频的可扩展神经表达

    该研究提出了一种新的神经表示框架D-NeRV，旨在以更高效的方式对长时间或大量的不同内容的视频进行编码。使用这种方法，该方法的压缩结果大大超过了现有的NeRV和传统视频压缩技术，同时在相同的压缩率下，其在UCF101数据集上用作高效数据加载器时的准确度比NeRV提高了3至10％。

    Mar, 2023

  • HNeRV: 用于视频的混合神经表示

    本文提出了一种名为HNeRV的混合神经表示，其中可学习的编码器生成内容自适应嵌入，其用作解码器输入。通过内容自适应嵌入和重新设计的架构，HNeRV在视频回归任务中的重构质量（+4.7 PSNR）和收敛速度（16倍）方面优于隐式方法，并展示了更好的内部泛化。作为一种简单高效的视频表示方法，HNeRV也与传统编解码器（H.264，H.265）和基于学习的压缩方法相比，具有更快的解码速度、更大的灵活性和更简单的部署，并且能够在视频压缩和视频修补等下游任务中发挥作用。

    Apr, 2023

  • LASER：语义视频表示的神经符号学习

    本研究提出了一种基于逻辑规格说明的神经符号方法LASER，通过其可有效地训练低级感知模型以提取符合所需高级规格说明的细粒度视频表示，不仅可以学习细粒度的视频语义，而且还可以优于现有基准在下游任务中表现得更好。

    Apr, 2023

  • Rapid-INR: 使用隐式神经表示进行高效的无 CPU DNN 训练

    本文提出了一种名为Rapid-INR的创新方法，利用INR对图像进行编码和压缩，从而加速计算机视觉任务中的神经网络训练；该方法可以将整个数据集直接存储在GPU上，并提出了迭代动态剪枝和逐层量化来进一步增强压缩效果，并在图像分类任务中证明了其可行性。

    Jun, 2023

  • 使用有条件解码器增强视频的神经表示

    通过引入条件解码器与熵最小化技术，该研究提出了一种通用增强框架，成功提升了隐式神经表示在视频存储与处理中的效果，并在多个基线模型上展现了优越的重建质量和收敛速度，为视频回归、修复和插值任务提供了一种强大的技术。

    Feb, 2024

  • NERV++：一种增强的隐式神经视频表示方法

    通过引入神经代表视频的NeRV++，作为NeRV解码器架构的一种增强改进方法，使用可分离卷积残差块（SCRBs）和双线性插值跳跃层等特性，大幅提高了INR-based视频编解码的效果和表示能力，实现了与自动编码器基于视频编码相竞争的结果，迈向了INR-based视频压缩研究的重大进展。

    Feb, 2024

  • 神经视频表示用于冗余减少和一致性保持

    该研究解决了传统视频压缩方法中冗余特征和帧间关系学习困难的问题。通过提取帧的高频分量和相邻帧特征的差异，提出了一种新的视频表示方法。实验结果表明，该方法在90%的视频中优于现有HNeRV方法，展示了良好的压缩性能与一致性。

    Sep, 2024

  • 释放神经表示参数延迟以实现高效视频压缩

    本研究针对当前隐式神经表示（INR）的视频压缩方法未能充分利用信息保存的潜力这一问题，提出了一种通过参数重用增强网络参数存储的创新方案。实验结果表明，该方案显著提升了INR视频压缩的率失真性能，具有重要的应用前景。

    Oct, 2024