May, 2023

珍惜所拥有的：利用深度神经网络中的相似性进行高效视频处理

PDF
TL;DR本文提出了一种基于相似度的训练方法，利用视频帧中的数据冗余来实现高效处理，适用于实时视频处理应用。通过引入分层的正则化，提高了计算复用并增加了训练期间权重的相似性，该方法在车道检测和场景分割等关键实时应用中获得了较高的压缩比和加速比，同时保持了相同的准确性。
发现论文，激发创造
  • 深度神经网络和双向动态时间扭曲算法的半监督三维视频信息检索

    该论文提出了一种新颖的半监督深度学习算法，用于基于视觉内容检索相似的 2D 和 3D 视频。该算法采用深度卷积和递归神经网络与动态时间扭曲作为相似性度量，能够处理大规模视频数据集，并根据图形帧和内容检索与给定查询视频片段最相关的视频。该方法在包括 CC_WEB_VIDEO、Youtube-8m、S3DIS 和 Synthia 等多个公共数据集上进行了测试，与最先进的方法相比表现良好。该算法有效地解决了视频检索任务，并优于基准深度学习模型。

    Sep, 2023

  • 学习盲视频时间一致性

    本文利用深度递归神经网络，结合短期、长期以及感知上的损失，为视频处理提供了一种基于帧的将原始视频和处理后的视频作为输入，生成时间上连贯的视频的方法，实现了对多种需求的处理，且无需光流计算，具有实时性能。

    Aug, 2018

  • 视频目标检测的鲁棒高效后处理

    本文提出了一种基于学习相似度评估的后处理方法，它可以克服先前后处理方法的一些局限性，提高特定视频检测器的结果，特别是在快速运动物体方面，并具有低资源要求。该方法还可以应用于像 YOLO 这样的高效静态图像检测器，提供与计算量更大的检测器相当的结果。

    Sep, 2020

  • 基于相对距离比较的深层特征学习用于人员再识别

    本文介绍了一种基于深度学习的可扩展的距离驱动特征学习框架，用于处理智能视频监控中的人员再识别问题，并展示了其在各个数据库上的有效性。该框架采用三元组单元的生成以及优化梯度下降算法解决三元组三倍扩增的问题。

    Dec, 2015

  • 基于深度循环卷积网络的视频行人再识别：一种端到端的方法

    本文提出一种端到端的方法来同时学习视频人物再识别的时空特征和相应的相似度度量，采用深度卷积网络和循环神经网络进行时间序列建模和度量学习，通过时间汇聚产生整体特征表示，在 iLIDS-VID 和 PRID 2011 等公共数据集上达到最先进的性能水平。

    Jun, 2016

  • 热红外物体跟踪的深度多层相似度学习

    本研究提出一种多层相似性模型来提高红外物体跟踪的辨别能力，其中利用了卷积层计算 TIR 对象的全局语义相似度和本地结构相似度，通过一种相对熵的集成子网络进行集成，并构建了大规模 TIR 视频序列数据集以优化算法效果。

    Jun, 2019

  • 利用简化 CNN 对视频编码中的非局部冗余进行提升

    该研究旨在利用卷积神经网络及非局部冗余优化视频压缩，达到与预处理去噪 CNN 类似的编码增益，同时只需要约为 1% 的计算复杂度，适用于资源受限的条件下进行视频压缩。

    Oct, 2019

  • 通过深度视频先验实现视频的无盲区时间一致性

    采用卷积神经网络和 Deep Video Prior 相结合的方法，针对视频中存在的时域不一致问题提出了一个新颖的和普遍的解决方案，并在七项计算机视觉任务中证明了该方法的有效性和性能优于现有技术。

    Oct, 2020

  • 视频深度先验及其在视频一致性和传播中的应用

    本文提出了一种用于盲视频时间一致性的方法，该方法旨在解决仅在每个视频帧上独立应用图像处理算法导致的时间不一致问题。我们展示了通过在 Deep Video Prior（DVP）视频上训练卷积神经网络实现时间一致性的方法，并针对挑战性的多模态不一致性问题提出了一种经过精心设计的迭代加权训练策略。我们通过 7 个计算机视觉任务的广泛定量和感知实验展示了我们的方法的有效性，并证明了我们的方法在盲视频时间一致性方面优于现有技术水平。

    Jan, 2022

  • 深度相似网络的可视化

    本文介绍了一种针对卷积神经网络模型中图像嵌入优化的方法，用于突出显示贡献最大的图像区域，可用于相似性学习领域的问题。我们还将该方法推广至使用不同池化策略的嵌入网络，并提供了一种支持查询图像中物体或子区域的图像相似性搜索的简单机制。

    Jan, 2019