multimodal classification | BriefGPT

关键词multimodal classification

搜索结果 - 12

超越基础融合：一种简单、无解耦、基于信号理论的多模态融合注意力模块
本研究论文提出了基于信号理论和不确定性理论的仿生学视角下的插拔式关注模块用于香草融合，并且结合无解耦梯度调制的方案设计，对多模态分类方法进行性能优化，实验结果显示仅需几行代码即可显著提高多个融合任务的性能，同时定量评估揭示了该方法在其他融合
PDF7 months ago
ICCV语言作为媒介：通过仅文本进行多模态视频分类
通过利用大型语言模型（如 GPT-3.5 或 Llama2）的广泛知识，结合 BLIP-2、Whisper 和 ImageBind 获取的视觉和听觉多模态文本描述，我们提出了一种新的模型不可知方法，用于生成捕捉多模态视频信息的详细文本描述。
PDF9 months ago
使用视觉和文本数据的联合表示进行食品分类
提出一种使用 EfficientNet 的改进版本和 Mish 激活函数进行图像分类的多模态分类框架，并使用传统的基于 BERT 的文本分类网络。在大型开源数据集 UPMC Food-101 上评估了提出的网络和其他最先进的方法，实验结果表
PDFa year ago
科学文献中的定理和证明的多模态机器学习
使用多模态分类方法从数学文章中提取定理环境和证明，包括文本、字体信息和位图渲染等多个模态，并采用序列信息进行特征融合和模型训练。实验证明多模态方法比单一模态更有效，并且采用基于条件随机场的块序列建模可以显著提高性能。
PDFa year ago
多模态分类的平衡主动学习
本文提出了三个设计均衡的多模式主动学习策略的指导方针，并通过调节模态间的支配度来调节梯度嵌入，从而实现更公平的数据选择，本方法在多种多模态分类任务上表现优异，实现了更平衡的多模态学习。
PDFa year ago
EMNLP借用人类感官：面向社交媒体多模态分类的评论感知自我训练
本研究提出了一种利用用户评论建模和自监督学习的方法，用于在社交媒体上进行图像文字关系分类、讽刺检测、情感分类和仇恨言论检测等多模态分类任务，结果表明该方法进一步提高了先前最先进模型的性能。
PDFa year ago
多模态和可解释的网络模因分类
本文针对当前因网络平台被用于地缘政治事件和社会问题而使得互联网谣言的信息审核变得更加困难，旨在设计实现一个多模态分类方法，利用文本和图像来识别有害的网络谣言，通过举例和原型推理比较示范算法之间的性能差异，为社区提供启发，同时设计一种用户友好
PDF2 years ago
巴西法律文件的序列感知多模态页面分类
本研究探讨了巴西最高法院文件的多模式分类，采用 ResNet 与多核卷积神经网络提取视觉和文本特征以及 biLSTM 网络建模页面的序列性，发现多模式分类优于单一模式分类。
PDF2 years ago
ACL研究视觉和文本特征以识别多模态社交媒体模因中的喷子
本研究介绍了一个基于多模态特征和融合方法的计算模型，使用 XLNet 取得最高的加权 f1 分数 0.58，并在对多模态社交媒体 meme Troll 的分类任务中获得第三名。
PDF3 years ago
恶意模因挑战：在多模态模因中检测仇恨言论
该研究提出了一个新的挑战，针对多模态模因素进行分类，专注于检测多模态模因素中的仇恨言论，并构造了一个难以依靠单模态信号的数据集，要求进行微妙的推理，证明了该任务的难度，并强调这个重要问题对社会的挑战。
PDF4 years ago
CVPRMFAS: 多模态融合架构搜索
本文提出一种新颖的多模态融合架构搜索空间，使用序列模型搜索方法在不同领域和数据集中寻找优化架构，发现表现优异的融合架构，解决了多模态分类问题。
PDF5 years ago
CVPR基于树形稀疏度的质量多模态分类
本研究针对多模态分类任务，重新建立了基于树形稀疏模型的优化模型，并提出了一种加速的近端算法，以便高效地实现均质或异质信息源的特征级融合。同时，基于模态可靠性权重的特定模糊集理论，提出了一种算法用于联合优化问题，寻找稀疏编码，从而提供了一种基
PDF10 years ago