Jan, 2024

EmMixformer: 混合变压器用于眼动识别

PDF
TL;DR眼动（EM）是一种新的高度安全的生物行为模态，在近年来引起了越来越多的关注。本文提出了一种名为 EmMixformer 的混合 Transformer，用于提取眼动识别的时域和频域信息，通过学习长时间依赖关系、短时间依赖关系和全局特征，可以提高识别准确性。实验结果表明，EmMixformer 在眼动数据集和两个公共眼动数据集上的性能优于现有技术。
eye movementbiometric behavioral modalityemmixformertransformerrecognition accuracy
发现论文，激发创造
  • 基于端到端机器学习眼动驱动的生物特征传输学习嵌入分析

    验证眼动生物识别系统中通过机器学习获得的嵌入式方法是否与传统生物识别中所观察到的时间持久性相似，并对输入数据的长度和质量对眼动生物识别的性能和嵌入式的稳定性进行了实验和评估。

    Feb, 2024

  • 基于 Transformer 的多尺度多模态微表情识别算法

    本文提出了一种基于 Transformer 网络的多模态多尺度算法，通过微表情的运动和纹理两种特征完全学习微表情的局部多粒度特征，实现了不同尺度脸部局部区域特征的提取并在三个自然数据集上进行了综合实验。结果表明，该算法在单个测量 SMIC 数据库中的准确度高达 78.73％，在合并数据库的 CASMEII 上的 F1 值高达 0.9071，处于领先水平。

    Jan, 2023

  • MoEmo 视觉变换器：在 HRI 情感检测中整合交叉注意力和运动向量的 3D 姿势估计

    本研究通过使用 MoEmo（Motion to Emotion），一种基于 3D 人体姿势估计的交叉注意力视觉变换器（ViT），以及基于人类姿势和环境背景的人体运动全身视频和相应情感标签的数据集，有效地利用人类姿势 / 姿态的运动向量和环境背景的特征图之间的微妙连接，实现了机器人系统中的情感检测，优于目前的最先进方法。

    Oct, 2023

  • 一种用于眼动生物特征的得分级融合方法

    本文提出了一种使用眼动模式进行生物识别的新框架，利用 fixations 和 saccades 提取特征，并使用 Gaussian Radial Basis Function Network 用于生物认证。使用文本阅读和屏幕上的随机点跟随等两种视觉刺激进行了测试，结果表明眼动模式是一种强大的生物证明模式，该算法已经在 BioEye 2015 数据库上进行了验证，并发现胜过其他所有方法。结合虹膜识别技术使用眼动动力学可能会导致一个牢固的防伪人员身份识别系统。

    Jan, 2016

  • EmT: 一种用于广义跨主题脑电情感识别的新型 Transformer

    将神经生理学的先前知识融入神经网络结构可提高情绪解码的性能。通过引入一种称为 EmT 的新型变压器模型，将 EEG 信号转换为时态图形式，并设计了一种用于学习时态上下文信息的模块，EmT 在广义跨受试者 EEG 情绪分类和回归任务中表现出色。

    Jun, 2024

  • 视频 Transformer 的时空混合注意力

    本研究论文介绍了一种使用 Transformer 进行视频识别的模型，相较于其他视频识别模型，本模型计算效率更高。为实现此目的，本模型对全时空注意力机制进行两种简化处理：(a) 限制时间注意力于局部时间窗口内，(b) 使用高效的时空混合方法联合对空间和时间位置进行注意力处理，而不增加任何额外的成本。

    Jun, 2021

  • EMOFM: 带有基于特征混合器的集成 MLP 模型用于点击率预测

    使用简单的插件混合器构建了基于字段 / 类型的特征融合的集成 MLP 模型 EMOFM（具有特征混合器的集成 MLP 模型），并通过实验验证其优于基线模型的表现。

    Oct, 2023

  • 一种高效的端到端 Transformer 网络结构，基于渐进式三模态注意力机制用于多模态情感识别

    本文提出了一种多模态端到端变形器（ME2ET）模型，通过引入渐进的三模态注意力和三模态特征融合层，成功地模拟了文本、声音和视觉模态之间低层和高层的交互，并在 CMU-MOSEI 和 IEMOCAP 数据集上取得了最先进的性能。

    Sep, 2022

  • MixFormer: 迭代混合注意力的端到端跟踪

    使用 transformers 建立了一种稳健的跟踪框架 MixFormer，采用混合注意力模块（MAM）实现了特征提取和目标信息的同步建模，同时在 LaSOT、TrackingNet、VOT2020、GOT-10k 和 UAV123 等五个基准测试数据集上取得了最新的最高成功率和 EAO 评分。

    Mar, 2022

  • 面向 EEG 情感识别的时间感知混合注意力卷积及 Transformer 网络 (MACTN)

    提出了一种基于分层混合模型的情感识别方法 MACTN，该模型通过卷积神经网络 (CNN) 提取局部情感特征，通过 transformer 集成稀疏的全局情感特征，并利用通道注意机制识别最相关的通道，在实验中取得超过其他现有方法的分类准确度和 F1 分数，早期版本已赢得 2022 年世界机器人大赛情感 BCI 竞赛的决赛冠军。

    May, 2023