Dec, 2023
灵活计数：野外人类动作范例识别与小样本计数
Count What You Want: Exemplar Identification and Few-shot Counting of Human Actions in the Wild
Yifeng Huang, Duc Duy Nguyen, Lam Nguyen, Cuong Pham, Minh Hoai
TL;DR本研究通过使用可穿戴设备的传感器数据来计算人类感兴趣的动作的数量，提出了一种新颖的基于样例的框架，允许用户通过发出预定义声音 ''one''、''two'' 和 ''three'' 来提供所需计数的样例。我们的方法首先从音频序列中定位这些话语的时间位置。这些位置用于识别代表感兴趣的动作类别的样例。然后，在样例和整个传感器数据序列之间计算相似度映射，然后将其输入到密度估计模块中生成一系列估计的密度值。将这些密度值相加即可得到最终的计数。我们引入了一个包含来自 37 个被试者和 50 个动作类别的真实数据的多样化和真实性的数据集来开发和评估我们的方法，其中包括传感器和音频数据。在该数据集上的实验证明了该方法在计算新类和训练数据中不包含的受试者的动作实例时的可行性。平均而言，预测计数与实际值之间的差异为 7.47，显著低于基于频率和基于转换器的方法的误差。本研究的项目、代码和数据集可以在此 https URL 找到。