Sep, 2023

EGOFALLS：一种使用视听数据集和基准的自我中心相机跌倒检测

PDF
TL;DR通过从自拍相机拍摄的视频中提取的多模态描述符，采用后期决策融合层建立了一种检测跌倒的方法，并通过新的数据集评估了该方法的效果，结果表明音频和视觉信息的融合通过后期决策融合可以提高检测性能，成为预防和减缓跌倒的有希望的工具。
falls detectionmultimodal descriptorsegocentric cameraslate decision fusionfall prevention
发现论文，激发创造
  • 人体跌倒检测 - 多模态方法

    通过多模式方法，使用手腕加速度计数据和传感器与摄像头数据的融合来检测老年人跌倒，并对其进行二分类标记，使用 UP-FALL 检测数据集进行实验，结果表明使用多种传感器数据并未显著提高跌倒检测的性能。

    Feb, 2023

  • 通过异步音视频整合发现落下的物体

    通过结合声音和视觉信号与物理学知识，配备了摄像头和麦克风的机器人代理，使用三维虚拟环境研究多模式物体定位。通过生成大规模的数据集和开发一套根据模仿学习，强化学习和模块化计划进行分析，为解决这一挑战迈出了第一步。

    Jul, 2022

  • 多模态 Fisher 向量的自我中心活动识别

    本文介绍了一个基于 Wearable 设备的多模态自我中心活动识别数据集，其中提出了一种从传感器数据中提取时空轨迹特征的新颖策略，并应用 Fisher Kernel 框架融合视频和时空增强的传感器特征，实验结果表明，精心设计的特征提取和融合算法可以提高信息丰富的视频数据的质量。

    Jan, 2016

  • FALL-E: 佛利音效合成模型与策略

    本文介绍了 FALL-E—— 一个 foley 合成系统及其训练 / 推理策略，FALL-E 采用级联方法，由低分辨率谱图生成、谱图超分辨率和声码器组成，利用数据集训练每个与声音相关的模型，并利用预训练的语言模型，通过数据集特定的文本对模型进行条件设定。在 DCASE 2023 挑战任务 7 的客观测试和听辨测试中，FALL-E 取得了第二名的好成绩，在多样性得分上排名第一，在音质上排名第二，在分类适应度上排名第三。

    Jun, 2023

  • 自我中心视听物体定位

    本文提出了一个几何感知的时间聚合模块和级联特征增强模块来解决显式处理自我运动和消除视角移动对音视觉定位的影响，并通过自我监督学习开发 Epic Sounding Object 数据集评估模型，证明了我们的方法在以人为中心的视频中取得了最先进的对象定位性能，并可以推广到不同的音视觉场景。

    Mar, 2023

  • 视觉上下文感知的人体跌倒检测

    评估视觉背景对跌倒检测分类器准确性的影响，并通过生成高斯模糊来改善模型性能和泛化能力。

    Apr, 2024

  • 自我中心视听噪声抑制

    该论文研究了对自我中心视角视频的音频 - 视觉抑制，发现视觉信息有助于噪声抑制，提出了多任务学习框架来同时优化音频 - 视觉噪声抑制和基于视频的声音事件检测，并表明该模型在不同的噪声类型和信噪比下均比传统的音频模型更具有优势。

    Nov, 2022

  • 使用深度时空卷积自编码器进行非侵入式跌倒检测

    本文提出了一个新的框架 ——DeepFall，将跌倒检测问题转化为异常检测问题，并利用深度时空卷积自编码器从常规活动中学习空间和时间特征，通过复合窗口中帧的重构分数来检测未知跌倒，应用于三个公开数据集时显示出了超越传统自编码器方法的优越性。

    Aug, 2018

  • EPIC-Fusion: 基于视听时空绑定的第一人称动作识别

    提出了一种多模态融合架构，采用中层融合以及稀疏地对融合表示进行时间采样，将 RGB、Flow 和 Audio 三种模态进行融合，重点研究了多模态时间绑定，逐步改进，取得最先进的结果。

    Aug, 2019

  • 基于深度学习的基于视觉的人体跌倒检测系统综述

    本综述文章讨论了基于深度学习和计算机视觉的非侵入式（基于视觉）人类跌倒检测技术，包括对跌倒检测基准数据集的调查和对不同评估指标的讨论，同时提出了基于视觉的人类跌倒检测技术未来的研究方向。

    Jul, 2022