multi-modal analysis | BriefGPT

关键词multi-modal analysis

搜索结果 - 8

优化医学多模态对比学习：专家批注
eCLIP 是 CLIP 模型的增强版本，通过整合放射科医师眼动热图的专家注释，解决对比性多模式医学图像分析中的关键挑战，特别是数据稀缺和 “模态差异”。它通过整合热图处理器和利用稀缺的专家注释的 mixup 数据增强，提高模型的学习效果。
PDF4 months ago
AAAI基于图变换的定性分析，应对仇恨言论：适应内容动态变化
本文介绍了一种利用图转换网络、注意力和 BERT 等自然语言处理技术来预测社交媒体中仇恨言论的方法，并分析了该方法在检测效果上的优劣和扩展性。研究发现，关注上下文可以支持多模态的在线帖子分析，从而解决社会影响的 AI 解决方案中面临的动态变
PDFa year ago
PARTNR: 基于可信互动学习的取放模糊性解决方案
PARTNR 算法通过多模式分析检测训练策略中的不确定性，提出自适应门控函数来决定是否需要额外用户演示，并利用聚合到数据集中的演示信息进行训练，使策略能够迅速适应领域转换，最大程度地减少所需演示数量并自主执行。
PDF2 years ago
UPB 在 SemEval-2022 任务 5 中：利用图像情感和图卷积网络增强 UNITER，用于多媒体自动骚扰辨识
本文描述了我们提交到 SemEval-2022 Task 5 的分类系统，旨在通过分析文本和 meme 图像一起识别多方面的厌恶内容，我们提出了两种基于预训练 UNITER 模型的模型和一种基于词表图卷网络的模型，并探索了一个集合方法，我们
PDF2 years ago
因果推理遇见视觉表征学习：一项前瞻性研究
本文综述了现有的因果推理方法在视觉表征学习中的应用，探讨了当前方法和数据集的限制，并提出了因果推理算法基准的前景挑战、机会和未来研究方向，以更有效地实现可靠的视觉表征学习及相关应用。
PDF2 years ago
NIPS360° 视频自监督空间音频生成
通过使用端到端可训练的神经网络，我们的方法根据音频和 360 度视频帧的多模态分析，将由 360 度视频相机记录的单声道音频转换为空间音频，并从中分离和定位单独的声源于观看球上，因此通过我们的方法，仅使用 360 度视频和单声道音轨就可以推
PDF6 years ago
利用动态记忆网络结合外部知识回答开放式视觉问题
本文提出了一种基于动态记忆网络和外部知识库的 VQA 算法，通过对外部知识的检索和动态记忆网络对知识和图像的关注与推理，有效地回答包括开放领域问题在内的更复杂问题，并在视觉问答任务中取得了最好的表现。
PDF7 years ago
基于多模态卷积神经网络的医学图像分割：图像融合方案研究
本文提出了在监督医学图像分析中进行图像融合方案的概念架构，实现了基于卷积神经网络的三种图像融合方案，并将其结合成单个框架，用于同时分析多模式图像，检测软组织肉瘤的存在，并发现在特征级别融合的情况下，性能最好，但当任何图像模式存在大误差时，其
PDF7 years ago