multimodal system | BriefGPT

关键词multimodal system

搜索结果 - 11

使用多模式分层交叉注意力模型标记在线视频中的喜剧恶作剧内容
我们提出了一种新颖的端到端多模态系统用于探测在线媒体中的可疑内容，特别是针对喜剧恶作剧这一子类别。
PDF22 days ago
多模态方法在大型语言模型中的设备导向语音检测
虚拟助手的交互通常以预定义的触发短语作为开端，我们探索是否可以放弃用户必须以触发短语开始每个指令的要求。通过三种方式进行实验：首先，只使用从音频波形中获得的声学信息来训练分类器；其次，将自动语音识别（ASR）系统的解码器输出，如 1 最佳假
PDF3 months ago
IdentiFace：基于 VGG 的多模态人脸生物特征识别系统
IdentiFace 是一个多模式人脸生物特征系统，通过使用 VGG-16 模型和不同子系统的微小改进，将面部识别与性别、面部形状和情感等重要的软生物特征相结合，实现了五个类别的测试精度达到 99.2％，性别识别、面部形状和情感识别问题也取
PDF6 months ago
MM结合视觉和基于 EMG 的手部跟踪技术的拓展现实音乐乐器
本文提出了一种多模态手部追踪系统，通过将基于视觉的手部追踪与肌电数据结合，实现手指关节角度估计。通过与基于视觉的追踪方法进行对比实验，验证了本系统更准确地追踪容易自我遮挡的几个手指关节。研究结果表明，该系统具有提供更准确、更稳定的手部追踪能
PDFa year ago
基于视觉与惯性传感器数据的新型二流决策级融合技术，用于自动多模态人类活动识别系统
本文提出了一种新颖的多模态人体活动识别系统，并使用了两种流的决策级融合来融合视觉和惯性传感器的信息，通过此方法准确率远高于现有的最先进方法。
PDFa year ago
多模态机器学习的仇恨言论检测
该研究提出了一种多模态系统的综合方法，通过提取视频内容中的特征图像、音频、文本的特征值，并利用机器学习和自然语言处理来检测恶意言论。
PDFa year ago
AAAIMATT: e-learning 平台多模态关注度估计
本文提出了一个基于多模态脸部分析的新型远程注意力水平估计系统，它使用多达四个基于卷积神经网络的模块来分析面部表情、眨眼、头部姿势和距离等信号，并评估了这些模块分别进行注意力水平估计和多模态融合的效果。
PDFa year ago
使用话语协调特征和分层注意力文本嵌入的多模式抑郁症分类
使用从语音识别工具中提取的语音道变量和文本转录中的发音协调特征开发了一种多模式抑郁症分类系统，并使用分段分类器和多级卷积递归神经网络获得了性能提升，同时还通过结合会话级音频模型和 HAN 文本模型开发了一种多模态系统。
PDF2 years ago
MM视频广告理解的多模态框架
该论文介绍了一种利用多模态技术实现广告视频内容结构化分析的系统，包括场景分割和多模态标记两个任务，通过视觉和文本特征相结合的方法，在 2021 年 TAAC 竞赛中获得了 0.2470 的高得分。
PDF3 years ago
多模态归纳迁移学习用于阿尔茨海默病及其严重程度检测
提出了一种集成声学、认知和语言特征的多模式系统，使用带时间特征的专业人工神经网络以检测阿尔茨海默病和其严重程度，并在 ADReSS 挑战数据集上获得了 83.3％的精度并在 DementiaBank Pitt 数据库上获得了 88.0％的分
PDF4 years ago
使用完全卷积神经网络进行 LIDAR-Camera 融合以实现道路检测
使用深度学习方法结合 LIDAR 和相机图像，开发了一种道路检测方法，通过使用多模式信息，新提出的交叉融合 FCN 实现了更高的准确性，表现优异并跻身最佳方法之列。
PDF6 years ago