multimodal processing | BriefGPT

关键词multimodal processing

搜索结果 - 6

图像文本分类的稳健潜在表示调整
通过引入模态潜在转换模块和新设计的融合模块，提出了一种强大的大型模型的潜在表示调优方法，以最大化模态之间的相关性，并提供在某一模态缺失情况下的稳健表示，同时保留图像和文本基础模型的冻结状态以保留其大规模预训练所获得的能力。实验证明了该方法的
PDF24 days ago
一种用于香烟检测的多模态深度学习架构及小样本方法
使用深度学习的预训练、多模态、图像与文本处理模型，即使训练数据有限，也能在不同媒体中检测到烟草广告。
PDF9 months ago
基于多模态 Transformer 的大脑编码模型可跨越语言和视觉进行转移
本研究旨在探究多模态变形器提供的洞察能力，通过对多模态编码模型进行训练，发现多模态变形器学习了语言和视觉中概念表示的更多对齐性，并且可以有效预测大脑对于故事和电影的 fMRI 反应，从而揭示了多模态处理的潜力和相关的概念表示模型的比较。
PDFa year ago
AAAI在 CLIP 中融合音频信息进行多模态处理
本文研究了视觉 - 语言 - 音频多模态处理技术，提出了基于对比学习思想的 CLIP4VLA 模型，并在视频检索和视频字幕生成等多个任务中得到了最优结果。
PDFa year ago
AAAI多模态宣传处理
该论文探讨了通过 AI 处理多模态的宣传内容的方法，以分析并影响公众舆论，让机器更接近人类的理解水平。
PDFa year ago
语言处理的多模态基础
本文讨论多模态处理的最新进展，探讨了多模态信息流和不同的多模态表示方法，讨论了多模态基础对于语言处理任务的益处和挑战。特别着重研究动词的多模态基础，对语言的组成能力起着重要作用。
PDF6 years ago