multi-modal content | BriefGPT

关键词multi-modal content

搜索结果 - 6

通过多模态特征对鲁棒领域虚假信息检测
社交媒体误导信息对个人和社会有害，并且多模态内容（即文本和图像）使其更具 “可信度”，高于仅有文本的新闻报道。我们提出一种新颖的鲁棒领域与多模态方法（RDCM），用于多模态误导信息的检测，通过领域内对齐模块降低领域漂移，并通过跨模态对齐模块
PDF7 months ago
多问题多答案文本视觉问答
通过多问多答（MQMA）方法，在编码 - 解码变压器模型中进行文本 - VQA（Visual Question Answering）。通过多次将不同问题和内容输入到模型中进行预测，实现对同一图像的多问题回答预测。提出几个新颖的架构修改来支持
PDF8 months ago
MMDialog：面向多模态开放领域对话的大规模多轮对话数据集
本文介绍了 MMDialog 数据集、提出并规范了两个基于检索和生成场景的反应生成任务，还构建了两个基线，并提出了一种新的评估指标 MM-Relevance，用于衡量多模态反应。
PDF2 years ago
ACLCTM-- 大规模多视角推文主题分类模型
本文利用提出的神经模型 CTM，从社交媒体中的多模态内容、作者上下文和深层语义线索等方面进行综合建模，从而支持 $300$ 个主题的大规模话题分类，并在 Twitter 上实现了显着的性能提升（相对平均精度分数提高 20%），此方法已成功应
PDF2 years ago
基于场景文本的细粒度图像分类与检索的多模态推理图
本文采用图卷积网络结合场景文本实例和显著图像区域进行多模态推理，在 Con-Text 和 Drink Bottle 数据集中，在细粒度图像分类和图像检索任务中显著优于之前的最新技术。
PDF4 years ago
CVPR通过将图像嵌入文本主题空间进行自监督的视觉特征学习
本文提出了一种利用自由可得的多模态内容进行无人监督计算机视觉算法训练的方法，通过挖掘大规模的多模态文档语料库中的语义结构进行话题建模，训练卷积神经网络来预测图像最可能出现为插图的语义上下文，有效地学习了区分性视觉特征，其实验结果表明具有比近
PDF7 years ago