multimodal approach | BriefGPT

关键词multimodal approach

搜索结果 - 28

SmartRSD: 智能多模态实时道路表面检测系统用于安全驾驶
准确和及时地识别道路表面状况使车辆能够调整动作，如改变速度或使用特定的牵引控制技术，以降低事故的发生率，并减少驾驶员和行人的潜在危险。本文介绍了一种通过集成音频和图像进行道路表面状况自动检测的多模态方法。通过在各种环境条件和道路类型下收集的
PDF20 days ago
缺失鲁棒性的视觉增强多模态语篇错流检测
现有的语音故障检测技术只依赖于声学数据，本研究提出了一种实用的多模态故障检测方法，利用可用的视频数据与音频结合。我们策划了一个音频 - 视觉数据集，并提出了一种新颖的融合技术，使用权值共享的模态不可知编码器来学习时态和语义上下文。我们的可靠
PDF23 days ago
利用开放获取的旅游摄像头进行群体异常检测的多模态视频分析
提出了一种多模态方法，通过从视频中提取时间序列的信息来检测人群异常。使用模式识别算法和分割技术，在固定时间间隔内提取人数和图像占用的信息，然后通过时间分解和残差分析确定异常行为的间隔或特定情况，可用于相关领域如旅游或安全中的决策和改进。在西
PDFa month ago
课堂中鼓励和温暖的自动评估：利用多模态情感特征和 ChatGPT
使用人工智能驱动的多模态方法，自动评估课堂鼓励和温暖程度，以及通过高级、多模态技术实现自动化课堂观察，旨在通过频繁和有价值的反馈促进教师培训。
PDF3 months ago
ThermoNeRF: 热新视图综合的多模态神经光辐射场
我们提出了一种基于神经辐射场的新型多模态方法 ThermoNeRF，能够联合渲染场景的新的 RGB 和热像视图，并通过使用配对的 RGB 和热像图像来学习场景密度，而独立的网络用于估计颜色和温度信息。此外，我们还引入了一个新的数据集 The
PDF4 months ago
ICML应用多模态临床虚拟笔记进行急诊室预测任务的电子病历多嵌入模型（MEME）
我们介绍了一种多嵌入模型 (Multiple Embedding Model) 用于电子健康记录 (EHR)，该模型将 EHR 视为多模态数据，并使用大型语言模型 (LLM) 来表示 EHR。通过将每个 EHR 模态嵌入到一个统一的框架中，
PDF5 months ago
可解释的孟加拉笑话的多模态情感分析
本研究采用 ResNet50 和 BanglishBERT 的多模态方法，在低资源语言（如孟加拉语）的 memes 情感分析中取得了令人满意的 0.71 的加权 F1 分数，并通过可解释人工智能（XAI）技术对模型的行为进行解释性分析。
PDF6 months ago
在线教育的多模态研究比较
在线教育中的学生理解度需要多模态方法进行感知识别和评估，结合姿势、表情、眼动和语言等多种线索，通过加权投票方式整合最合适的机器学习模型。
PDF7 months ago
使用对比度图交叉视图学习和 SPECT 图像与临床特征的多模态融合进行帕金森病分级
通过引入多模态方法，结合深度学习和图融合技术，我们的研究提出了一种用于帕金森病分类的图视多模态方法，实验结果表明，在五折交叉验证中，该方法可以达到 91% 的准确率和 92.8% 的 AUC，并且相比仅依赖机器学习方法的方法，在非图像数据上
PDF7 months ago
ShARc: 面孔与外貌识别技术在野外环境下的应用
在本篇论文中，我们介绍了一种名为 ShARc 的多模态方法，用于在非受控环境中基于视频进行人员识别，着重考虑了 3D 身体形状、姿势和外貌。我们引入了两个编码器：姿势和形状编码器（PSE）和聚合外貌编码器（AAE）。PSE 通过二值化轮廓、
PDF8 months ago
利用 UWF-CFP 和 OCTA 图像的深度多模态融合改进自动糖尿病性视网膜病变严重程度分类
通过结合超广角彩色眼底照相和光学相干断层扫描血管造影成像技术，该研究提出了一种新的多模态方法，显著增强了糖尿病视网膜病变的分类性能，有望帮助更准确地早期检测糖尿病视网膜病变，改善患者的临床预后。
PDF9 months ago
利用 Transformer 在 Twitter 中多模态检测社交垃圾机器人
早期检测社交垃圾机器人对于防范传播虚假信息和操控公众意见至关重要。本研究首次使用用户描述字段和图像，采用预训练的视觉模型以及 TwHIN-BERT 来获取文本和图像的表征，并提出了三种不同的融合方法进行多模态融合，并在 Cresci '17
PDF10 months ago
MMTextPainter：基于视觉和文本理解的海报设计的多模态文本图像生成
TextPainter 是一种新颖的多模态方法，利用上下文视觉信息和相应的文本语义生成文本图像，结合全局 - 局部背景图像作为风格提示并以视觉和文本的和谐为指导，通过语言模型和文本理解模块实现句子级和词级风格变化，该方法可生成适用于海报的视
PDFa year ago
Prot2Text: GNNs 与 Transformers 实现的多模态蛋白质功能生成
使用图神经网络和大型语言模型在编码器 - 解码器框架中，本研究提出了一种新颖的方法 Prot2Text，以自由文本形式预测蛋白质的功能，超越传统的二分类或多分类任务，该多模态方法综合蛋白质序列、结构和文本注释等多种数据类型，实现了对蛋白质功
PDFa year ago
视频自动欺诈检测：基于端到端学习的高级特征和分类方法
本文通过结合深度学习和判别模型提出了一种多模态方法用于自动检测欺诈，并且在五个数据集上进行了评估，结果表明基于面部表情的方法优于基于凝视和头部位置的方法，并且多模态方法与特征选择的结合可以提高检测性能。
PDFa year ago
多模态注意力融合在孟加拉语言音行为识别中的应用
本文开发了一种多模态方法，结合 wav2vec2.0 和 MarianMT 模型，在 Bengali 语音语料库中使用多模态注意融合预测语音行为，并展示了该模型在语音任务中的优越性能。
PDFa year ago
使用多模态深度学习识别外科任务期间的认知负荷
本文提出了一种联合三个信号测量 Cognitive Workload 的方法，该方法基于机器学习和神经网络技术，可以识别手术过程中医生的脑力负荷情况，并精确地将其分类，比较结果表明有 93％的准确度。
PDF2 years ago
COLINGAiM：在教育应用中运用心中的答案矫正中文填空测试
本文提出了一种多模型方法（AiM），基于识别 OCR 数据和学生笔迹相互作用的编码答案来纠正学生笔迹，并在填空测试中取得了比 OCR 更好的效果。
PDF2 years ago
跨页面关系的语义分析
本文提出了一种基于语义解析的跨页关系提取方法，并提出了一个端到端的跨页依赖性抽取方法。实验结果表明，我们的方法大大提高了语义解析的准确性，并且对多任务处理中的页面嵌入也有帮助。
PDF2 years ago
基于图的多模态学习用于疾病关系提取
使用 REMAP 多模态方法，将关于疾病的结构化知识和文本信息融合，从而提高基于文本的疾病关系提取任务的性能，并推荐新的关系，从而提高 AI 驱动的疾病概念间的关系的发现、访问和验证的灵活性。
PDF2 years ago