SL-DML: 用于多模式单次动作识别的信号水平深度指标学习

Apr, 2020

SL-DML: 用于多模式单次动作识别的信号水平深度指标学习

SL-DML: Signal Level Deep Metric Learning for Multimodal One-Shot Action Recognition

Raphael Memmesheimer, Nick Theisen, Dietrich Paulus

TL;DR使用度量学习方法，将我们提出的一种基于信号级别的解决方案编码成图像并提取特征，通过三元组损失学习特征嵌入，进而在嵌入空间的最近邻搜索中解决行为识别问题，并在 NTU RGB + D 120 数据集上取得了比基准方法更好的性能，还能够很好地泛化到其他数据集上。

Abstract

Recognizing an activity with a single reference sample using metric learning approaches is a promising research field. The majority of few-shot methods focus on object recognition or face-identification. We propo

metric learning action recognition embedding space triplet loss few-shot

发现论文，激发创造

Skeleton-DML: 基于骨架的单次动作识别的深度度量学习

本文提出了一个以深度度量学习为基础的单次动作识别方法，使用图像骨骼表示法，在嵌入空间中训练模型，在 NTU RGB+D 120 数据集中，实现了单次动作识别协议最新的 3.3％提升，在附加数据增强后提高了超过 7.7％。

Dec, 2020

信号提取：多模态活动识别中的判别信号编码

该研究提出了一种支持多种传感器模态的简单、有效和灵活的动作识别方法，将多元信号序列编码成图像，并使用最近提出的 EfficientNet CNN 架构进行分类，实验结果表明该方法在多个数据集上的表现均优于目前的激光雷达数据集识别方法。

Mar, 2020

RepMet: 基于代表性度量学习的分类和单次物体检测

本文提出了一种新的 DML 方法，该方法同时学习骨干网络参数、嵌入空间和每个训练类别在该空间中的多模态分布，通过单一的端到端训练过程优于现有最优方法，不仅在标准的精细化数据集上，而且在少样本目标检测问题上也取得最佳结果，并在基于 ImageNet 的情景基准下提供了一个新的少样本目标检测任务。

Jun, 2018

基于度量的视频动作识别小样本学习

本研究介绍了针对少样本学习的视频动作识别任务，采用双流模型和三种常见的基于度量的算法，通过一组卷积和递归神经网络视频编码器进行训练和评估，证实了双流设置的重要性，并发现原型网络和池化长短期记忆网络嵌入为少样本方法和视频编码器提供了最佳性能。在 Kinetics 600 数据集上进行的 5-shot、5-way 任务中，该设置在测试集上获得了 84.2% 的准确度，而在混淆度较高的 “挑战” 测试集上获得了 59.4% 的准确度。

Sep, 2019

RGB+D 视频中的行为识别深度多模态特征分析

本文提出一种新的深度自编码器共享特定特征分解网络，将多模态信号分解成一系列组件，进而结合特征结构提出了一种结构化稀疏学习机以获得更好的分类性能，实验证明该方法在动作识别方面最先进。

Mar, 2016

深度视频中的多模态多部分学习与动作识别

提出了一种基于结构稀疏性的联合稀疏回归学习方法，利用来自稀疏部位集的多模态特征的组合将每个动作建模为结构稀疏性，以此来表示各个部位的动态和外观。

Jul, 2015

针对少样本动作识别的任务特定对齐和多层 transformer

本文提出了一种名为 TSA-MLT 的端到端方法，在多层次特征上使用多层 Transformer 并使用任务特定的 TSA 进行处理，然后使用 L2 和 Optimal transport 距离度量进行融合，并以交叉熵损失进行训练以获得时间和语义方面的对齐，实验结果表明，在 HMDB51 和 UCF101 数据集上获得了最先进的结果，在 Kinetics 和 something-2-something V2 数据集基准测试上也有竞争力。

Jul, 2023

零样本基于骨架的动作识别的信息补偿框架

从信息论的角度设计信息补偿学习框架，通过多粒度语义交互机制来提高零样本动作识别准确性，并提出多层次对齐方法对动作类别的信息进行补偿，利用新的损失函数采样方法获得紧密且鲁棒的表示，进而通过合成多粒度语义嵌入形成适当的分类决策面，验证多粒度语义特征有助于区分具有相似视觉特征的动作簇。

Jun, 2024

基于位置和方向的一次性学习方法用于医疗行为信号数据的识别

本文提出了一种基于位置和方向感知的一次性学习框架，用于医学动作识别。通过信号数据转化为隐私保护特征进行训练，在模型的两个阶段中引入交叉注意力和动态时间规整等模块进行信息融合，筛选重要的人体部位并减少动作识别偏见，同时采用位置和方向特征相互支持以提高模型性能。实验证明了该方法在多个数据集上的有效性，并与先进方法相比获得了优异的结果。

Sep, 2023

半监督度量学习：深度复苏

本文研究了面向深度学习的半监督度量学习，提出了基于随机和图的方法，通过传播标记数据对的相似度来挖掘度量学习的三元组约束，并施加正交性约束以避免模型萎缩。

May, 2021