Jun, 2024

IVCA: 视频复杂度互相关感知分析器

PDF
TL;DR通过考虑帧间关系，我们提出了一种适用于视频流应用的关联感知视频复杂度分析器（IVCA）作为 VCA 的扩展。IVCA 通过引入特征域运动估计来提高时域特征的准确性，运用编解码器中的分层参考结构设计了层感知权重来调整不同层次的帧复杂度，并通过考虑引用的帧而不是仅依赖于之前的帧来扩展时域特征的范围。实验结果表明，IVCA 显著提高了复杂度估计的准确性，同时增加的时间复杂度很小。
real-time analysisvideo streaming applicationsinter-relation-aware video complexity analyzermotion estimationtemporal features
发现论文，激发创造
  • AlphaVC：高性能和高效的学习型视频压缩

    本文提出了 AlphaVC 的压缩算法，采用了几种新的技术来有效地提高压缩性能，包括引入条件 I 帧、像素到特征的运动预测方法和基于概率的熵跳过方法。AlphaVC 在所有常见测试数据集上的 PSNR 和 MSSSIM 指标上均超过了最新的压缩标准 VVC，并且具有非常快的编码和解码速度。

    Jul, 2022

  • IBVC: 基于插值的 B 帧视频压缩

    通过使用两个主要操作：视频帧插值和压缩，IBVC（插值驱动的 B 帧视频压缩）引入了一种无比特率的双向运动估计与补偿方法，避免了光流量化和额外的压缩失真，通过自适应选择具有插值多尺度依赖的有意义的上下文，减少重复比特率的使用，并通过提出条件的时空解码器消除位置错误和伪影，相较于相关最先进方法，IBVC 在 B 帧编码方面取得了显著的改进，同时与 H.266（VTM）的随机访问（RA）配置相比，我们的方法能节省比特率。

    Sep, 2023

  • 运动感知视频帧插帧

    该研究介绍了一种 Motion-Aware Video Frame Interpolation (MA-VFI) 网络，通过引入新颖的分层金字塔模块，直接估计相邻帧之间的中间光流，从而解决了现有方法在复杂场景（包括遮挡和不连续运动）中易产生图像模糊和伪影的问题，并有效降低了计算成本和复杂性。实验证明，该方法在多个数据集上超越了几种代表性的视频帧插值方法，既提高了效率又保持了良好的准确性。

    Feb, 2024

  • 维度情感识别中基于一致性的音视频融合交叉注意力

    通过跨模态注意力来利用互补关系在多模态情感识别中引起了广泛关注。然而，模态之间也可能存在弱互补关系，可能会导致跨模态特征表示质量较差。为了解决这个问题，我们提出了一种基于不一致性感知的跨模态注意力方法（IACA），可以根据声音和视觉模态之间的强弱互补关系自适应地选择最相关的特征。具体而言，我们设计了一个两阶段的门控机制，可以自适应地选择适当的相关特征以处理弱互补关系。通过在具有挑战性的 Aff-Wild2 数据集上进行大量实验，展示了所提模型的鲁棒性。

    May, 2024

  • 音视频情感识别的细节增强的模态内外交互

    我们提出了一个基于详细增强的模态内部和模态间交互网络（DE-III）的音频 - 视觉情感识别方法，利用光流信息丰富视频的纹理细节以捕捉面部状态变化，进一步改进视频和音频的丰富性和可区分性，通过详细的定量评估，我们的模型在三个基准数据集上都超过了现有方法，适用于具体和连续情感识别。

    May, 2024

  • 协同弱监督视频相关学习用于过程感知教学视频分析

    我们介绍了一种用于指导性视频的程序感知相关性学习的弱监督框架，该框架包含协同步骤挖掘和帧到步骤对齐两个核心模块，并在序列验证和行动质量评估两个任务中进行了实例化，实验证实了我们的方法在为指导性视频提供准确和可解释的相关性分析方面的有效性。

    Dec, 2023

  • 长视频序列的分层 B 帧视频编码

    通过训练长序列帧、分层编码的速率分配和内容适应推理，在常见测试条件下，我们提出了一种用于随机存取的端到端学习视频编解码器，其在某些视频类别上取得了与 VVC 相当的 YUV-PSNR BD-Rate 结果，并在几乎所有测试集上优于 VVC，在 VMAF BD-Rate 方面超过了开源的低延迟和随机访问端到端解决方案的平均水平。

    Jun, 2024

  • 基于空间分解和时间融合的基于学习的视频压缩的帧间预测

    本文提出了基于空间分解和时间融合的学习视频压缩的帧间预测方法，通过处理运动不一致性和遮挡现象，结合长短时时间上下文融合，提高了视频压缩的帧间预测准确性。实验证明，所提出的编码器在所有常见测试数据集上的 PSNR 和 MS-SSIM 上优于 H.266 / VVC 的参考软件。

    Jan, 2024

  • 稀疏编码和相对特征在视频动作识别中的应用

    该研究提出了一种利用稀疏编码技术进行基于类别的视频动作识别的方法，其中包括对代表性原子动作行为或关键序列进行分解的新方法和利用比较推理来捕捉关键序列之间相对相似性关系的新视频描述符 ITRA，其在多个基准数据集上表现出色，优于其他最先进技术。

    May, 2016

  • 探索视频动作识别中的可解释性

    我们提出了一个用于研究动作识别假设并定量测试的框架，从而推进视频动作识别中深度神经网络的可解释性研究。

    Apr, 2024