Oct, 2023

SCB-Dataset3：学生课堂行为检测的基准测试

PDF
TL;DR使用深度学习方法自动检测学生课堂行为是分析他们的课堂表现和提高教学效果的一种有前途的方法，但是公开可用的学生行为数据集的缺乏对该领域的研究人员构成了挑战。为了解决这个问题，我们提出了学生课堂行为数据集（SCB-dataset3），它代表了现实生活中的场景。我们的数据集包括 5686 张带有 45578 个标签的图像，重点关注六种行为：举手、阅读、写作、使用手机、低头弯腰和趴在桌子上。我们使用 YOLOv5、YOLOv7 和 YOLOv8 算法对数据集进行了评估，得到了高达 80.3% 的平均精确率（map）。我们相信我们的数据集可以成为学生行为检测领域未来研究的坚实基础，并为该领域的进展做出贡献。我们的 SCB-dataset3 可以在该 https 链接上下载。
deep learning methodsstudent behaviordatasetyolov5teaching effectiveness
发现论文，激发创造
  • SCB-dataset: 用于检测学生课堂行为的数据集

    本文提出了一个反映现实生活场景的学生课堂行为数据集 (SCB-dataset)，重点关注举手行为。使用 YOLOv7 算法对数据集进行评估，得到 85.3% 的平均精度 (map)，这个数据集可以促进学生行为检测领域的进一步研究和发展。我们的 SCB 数据集可以从以下链接下载：https:// 此处是一个 URL

    Apr, 2023

  • SCB-ST-Dataset4：利用图像数据集方法扩展学生课堂场景的时空行为数据集

    利用深度学习方法自动检测学生的课堂行为是分析他们的课堂表现和提高教学效果的一种有前途的方法。为了解决公开可用的学生行为时空数据集缺乏以及手动标注这类数据集的高成本问题，我们提出了一种通过图像数据集来扩展学生课堂行为数据集的方法（SCB-ST-Dataset4）。该数据集包括了 754,094 张图像和 25,670 个标签，侧重于三种行为：举手，阅读和书写。我们提出的方法可以快速生成时空行为数据集，无需进行注释。此外，我们还提出了一种行为相似度指数（BSI）来探索行为的相似性。我们使用 YOLOv5、YOLOv7、YOLOv8 和 SlowFast 算法评估了数据集，达到了 82.3% 的平均精度。实验证明了我们方法的有效性。这个数据集为学生行为检测的未来研究提供了牢固的基础，有可能推动该领域的进展。SCB-ST-Dataset4 可在此链接下载：https://URL

    Oct, 2023

  • 基于改进的 YOLOv7 的学生课堂行为检测

    本研究提出了基于改进的 YOLOv7 的学生课堂行为检测方法，利用 SCB 数据集（包括手举、阅读和书写三种行为），并结合 biformer attention module 和 Wise-IoU 来提高检测准确率，在 SCB-Dataset 上实验结果表明其平均精度为 79％，比以前的结果提高了 1.8％。

    Jun, 2023

  • 基于 YOLOv7-BRA 和多模型融合的学生课堂行为检测

    该研究提出了基于 YOLOv7-BRA 的学生课堂行为检测系统，通过构建 SCB 数据集并添加 biformer attention module 改进了检测精度，取得了 87.1% 的 [email protected]，并可下载使用该数据集。

    May, 2023

  • 使用原始视频的卷积流程检测儿童自我刺激行为的 SSBD + 数据集

    通过机器学习和深度学习方法，提出了一种新的流程模型来检测自我刺激行为，从而帮助诊断孤独症谱系障碍（ASD）。通过扩充自我刺激行为数据集（SSBD）并使用新的标签，结合深度学习模型，实现了针对实时、免提自动诊断的模型，准确率达到约 81%。

    Nov, 2023

  • 学校学生危险行为检测

    本文提出了一种自动检测学生危险行为的方法，将长视频的行为识别转化为物体检测任务，结合多尺度体特征和基于关键点的姿态特征，实现了 71.0% 的平均精度（mAP）和约 11 FPS 的高效准确性。

    Feb, 2022

  • 一种基于时空注意力的学生课堂行为检测方法

    提出了一种用于检测学生课堂行为的时空注意力方法 (BDSTA)，该方法利用 SlowFast 网络生成视频的运动和环境信息特征图，然后应用时空注意力模块对特征图进行信息聚合、压缩和激励，从而获得时间、通道和空间维度上的注意力映射，并基于这些注意力映射进行多标签行为分类。实验结果表明，使用 BDSTA 相较于 SlowFast 模型，学生行为分类检测的平均准确率提高了 8.94%。

    Oct, 2023

  • 在协作学习环境中使用动态场景分析进行长期人类参与评估

    在实际的协作学习环境中，通过开发数据集和方法来评估学生参与度。我们将评估学生参与度的问题分为两个子问题：学生组检测和动态参与者跟踪。使用一组包含 12,518,250 个学生标签实例、总时长为 21 小时 22 分钟的实际视频的独立测试数据集来评估我们提出的学生组检测方法的性能。通过使用多个图像表示方法，该方法在所有视频实例上表现出与 YOLO 相等或更好的性能。提出的动态参与者跟踪系统在长时间视频会话中表现出色，仅在 35 个测试视频中的一个视频中未跟踪到学生，而一个最先进的方法在 35 个测试视频中有 14 个视频未能跟踪到学生。在一个独立的长时间真实协作视频集上，提出的方法达到 82.3% 的准确率。

    Apr, 2024

  • 使用操作直方图测量学生行为参与度

    我们提出了一种新的通过学生动作识别来衡量行为参与度的技术。该方法通过识别学生的动作来预测学生的行为参与水平，并利用 3D 卷积神经网络模型对学生上身动作进行建模和识别。通过构建动作的直方图并使用 SVM 分类器来判断学生是否参与，实验证明学生动作可以达到 83.63% 的准确率，并且该方法能够捕捉到班级的平均参与度。

    Jul, 2023

  • BEHAVE: 跟踪人体物体交互的数据集和方法

    BEHAVE 数据集记录了 8 名主体在 5 个位置进行与 20 种常见对象的广泛互动，利用多视角 RGBD 帧和相应的 3D SMPL 和对象适配以及它们之间注释的接触，我们使用此数据学习模型，能够共同跟踪人类和物体的互动，同时可以在 3D 中对其交互进行建模，我们的关键洞察是预测与体统计模型中的人类和物品的对应关系，以获得互动期间的人 - 物接触。

    Apr, 2022