Jun, 2024

日常生活互动活动的少样本分类（InteractADL）

PDF
TL;DR提出了一个新的数据集和基准 InteractADL，用于理解涉及人（和物体）之间互动的复杂 ADL，并提出了一种用于细粒度少样本视频分类的新方法 Name Tuning，该方法通过学习优化类别名称向量，使语义可分离，展示了在 InteractADL 和其他四个细粒度视觉分类基准上改进的性能。
发现论文，激发创造
  • 大型语言模型是日常生活活动的零 - shot 识别器

    利用基于传感器的识别的大型语言模型（LLMs）在智能家居环境中进行的日常生活活动（ADLs）的识别表明其在这一领域的有效性。

    Jul, 2024

  • ADL4D：针对 4D 日常生活活动的上下文丰富数据集

    ADL4D 是一个包含最多两个主体与不同物体进行日常生活活动的数据集，用于在手 - 物体交互的任务中提供独特的上下文。该研究还介绍了一个能够跟踪时间上的手部姿势的多视角多手 3D 姿势标注的自动化系统，并在 Hand Mesh Recovery（HMR）和 Hand Action Segmentation（HAS）任务上对数据集进行了评估。

    Feb, 2024

  • 基于在线视频大规模声学嵌入的日常生活活动（ADL）识别

    本论文提出了一种基于上百万个公共在线视频声音剪辑的语音识别框架，该框架利用深度学习技术不需要标注音频数据，不需要进一步的特征处理或离群值过滤。在日常活动中验证了该方法，取得了 64.2% 和 83.6% 的平均准确率。

    Oct, 2018

  • LLAVIDAL：基于大型语言视觉模型的日常生活活动基准测试

    我们提出了一种框架，用于筛选 ADL 多视角数据集以对 LLVM 进行优化，从而创建了 ADL-X。其中包括 10 万个 RGB 视频指令对、语言描述、3D 骨骼和动作条件下的物体轨迹。我们推出了 LLAVIDAL，一种能够结合 3D 姿势和相关物体轨迹以了解 ADL 中复杂时空关系的 LLVM。此外，我们还提出了一个新颖的基准 ADLMCQ，用于量化 LLVM 在 ADL 场景中的性能。在 ADL-X 上训练时，LLAVIDAL 始终在所有 ADL 评估指标上实现最先进的性能。定性分析揭示了 LLAVIDAL 在理解 ADL 中的时间推理能力。数据集的链接详见：this https URL。

    Jun, 2024

  • 基于实证知识的日常生活活动评估对话系统的一致性改进

    为了解决多名评估员在评估功能失能时存在的一致性问题，作者开发了一个对话系统，该系统仿真了评估员和功能失能个体之间的互动，并需要自然语言理解和生成模块的支持。

    Jul, 2023

  • 自动检测老年人家庭传感器中的日常生活活动作为常规行为的指标

    使用 NEX 项目开发的物联网系统和数据分析，可以支持老年人在家独立生活的无干扰健康和健康监测。使用自动检测日常生活活动（ADL）的可视化方法，可以实现 ADL 的自动检测以及可以无需重新训练系统来纳入新参与者的功能。

    Jul, 2023

  • Activity2Vec：使用序列到序列模型从传感器数据中学习 ADL 嵌入

    研究使用序列到序列的方法自动提取可以应用于类似时间序列学习任务的通用且有意义的特征。所得到的有意义的特征不仅避免了特征工程，还可以用于半监督学习，并且在从可穿戴和环境传感器收集的数据集上进行了评估。

    Jul, 2019

  • 利用远程监督学习识别过程性活动

    本文研究了从长达数分钟的视频中识别精细、多步骤活动的问题，通过远程监督的语言模型方法，基于 wikiHow 的文本数据库自动标注视频中的步骤，并在识别过程中考虑了它们的时间依赖性，实现了较高的泛化性能。

    Jan, 2022

  • 佩戴式手腕摄像头识别日常生活活动

    本文介绍了一种基于手腕佩戴摄像头的新型算法，可用于识别日常活动，特别是与用户动作相关的对象。使用 Convolutional Neural Networks 编码帧描述符，提出了一种判别式视频表示，保留时空信息。

    Nov, 2015

  • 从生活 Vlogs 到日常互动

    本文提出从大量互动丰富的视频数据开始，对人类基本交互的理解进行研究，通过对手部进行分析和注释，获得了更大规模、更丰富多样化的数据，并展示了语义物体接触识别、帧级非语义接触状态识别和手部未来预测等任务的实现。

    Dec, 2017