Apr, 2023

现有的多模态人群计数数据集可能会导致实际应用中无法实现的期望

PDF
TL;DR本文探讨了多模型与单模型在人群计数方面的差异，并发现现有数据集存在热成像的偏见，提出了一个潜在数据集的标准，以回答多模型是否在人群计数方面表现更好的问题。
multimodal modelscrowd countingoptical imagesthermal imagesdataset bias
发现论文，激发创造
  • 基于 Pix2Pix GAN 的多模态人群计数

    本文提出使用生成对抗网络（GANs）从彩色（RGB）图像自动生成热红外（TIR）图像，并同时使用两者训练人群计数模型以提高精确度。在多个人群计数模型和基准人群数据集上进行的实验证明了显著的精确度提升。

    Jan, 2024

  • 跨模态协同表示学习与用于人群计数的大规模 RGBT 基准

    本篇研究通过使用 RGBT 图像和多模态协作表征学习框架来实现人群计数，并提供一个大规模 RGBT 人群计数基准测试数据集，研究表明该框架在 RGBT 人群计数和多模态人群计数方面表现优异。

    Dec, 2020

  • 重温人群计数：技术现状、趋势和未来展望

    本篇综述了近年来在人群计数领域中最重要的贡献，通过模型架构、学习方法和评估方法等多方面比较，对人群计数进行了全面系统的综述调查，为初学者们提供了解人群计数研究发展的良好资源。

    Sep, 2022

  • 环境声音有助于：在极端条件下进行音视频人群计数

    本研究提出了一种音频视觉人群计数方法，使用采集的大型数据集共 1,935 张图像和相应的音频片段，并对其进行了 170,270 个标注实例。实验结果表明，引入音频信息可以在不同的照明、噪声和遮挡条件下有助于人群计数。

    May, 2020

  • 利用多模态深度学习分析社交媒体数据，以用于灾害响应

    本论文使用多模态深度学习技术，提出了一种分析社交媒体数据中文字和图像模态的联合表征，并在真实的灾难数据集上进行了广泛的实验，证明了该多模式架构比单模型（例如，仅使用文本或图像）的模型表现更好。

    Apr, 2020

  • 预训练的单模态和多模态模型中的视觉常识

    本文研究了图像和语言的单模态和多模态模型对视觉显著属性的度量精度，使用 Visual Commonsense Tests 数据集验证了多模态模型在属性分布重构中优于单模态模型，但仍然存在报告偏差问题，适当增加模型大小并不能提高视觉常识的性能，表明关键在于数据。

    May, 2022

  • 阅读，观察还是听取？解决多模态数据集所需的元素

    通过利用少量人工注释，我们提出了一种两步方法来分析多模态数据集，为了在处理数据集时将每个多模态实例映射到所需的模态。我们在 TVQA 视频问答数据集上应用了我们的方法，并发现大多数问题可以用单一模态回答，而且没有对任何特定模态存在实质性偏见。此外，我们发现超过 70％的问题可以用几种不同的单模态策略来解决，例如通过观看视频或听音频，突出了 TVQA 中多模态整合的有限性。我们利用我们的注释并分析 MERLOT Reserve，发现它在处理基于图像的问题、文本和音频以及听觉说话人识别方面存在困难。根据我们的观察，我们引入了一个需要多个模态的新的测试集，观察到模型性能显著下降。我们的方法为多模态数据集提供了有价值的见解，并强调了开发更健壮模型的需求。

    Jul, 2023

  • 基于卷积神经网络的单张图像人群计数和密度估计的最新研究综述

    本文综述了基于深度学习的卷积神经网络方法在人群计数和密度图估计方面的最新研究和挑战，并评估了手工特征表示方法与深度学习方法在可靠性和效率方面的优缺点。

    Jul, 2017

  • 实时无人机监督下的人群计数统一多任务学习框架

    本研究提出了一种新的联合多任务学习框架，用于实时监控人群计数的无人机监控。该框架利用图像融合网络结构来融合可见光和热红外图像，并使用人群计数网络结构来估计密度图。结果表明，与现有方法相比，该方法在客观评估和训练过程中具有可比较的结果。

    Feb, 2022

  • 多模态分类分析社交媒体

    本研究使用池化层和辅助学习任务进行多模态社交媒体数据分类，具有良好的鲁棒性和高准确性，并与传统融合方法相比有着显著的优势。

    Aug, 2017