multimedia content | BriefGPT

关键词multimedia content

搜索结果 - 14

SIGIR利用对齐的视频字幕增强的视频富文本检索生成
我们提出使用 “对齐视觉标题” 作为一种机制，将视频中的信息整合到基于检索增强生成的聊天助手系统中，这些标题能够以文本形式描述视频的视觉和音频内容，并且易于理解和加入到大型语言模型的提示中，同时也需要较少的多媒体内容来插入到多模态语言模型的
PDFa month ago
一幅图千言万语，但是否人人听得懂？关于进行图像翻译以便符合文化相关性的研究
在这项工作中，我们建立了三个流程，使用最先进的生成模型来将图像进行跨文化翻译，并构建了一个包含概念和应用的评估数据集，通过多方位的人工评估来评估翻译后的图像的文化相关性和意义保持。我们发现，目前图像编辑模型在这一任务上失败，但通过利用 LL
PDF3 months ago
零封闭式 VLM 用于仇恨迷因检测：我们到达目标了吗？
这项研究探讨了视觉语言模型在处理令人费解任务（如仇恨迷因检测）中的有效性，并观察到大型视觉语言模型在零样本仇恨迷因检测方面仍然存在脆弱性。
PDF5 months ago
SIGIR挖掘稳定偏好：多媒体推荐的自适应模态解耦
该研究提出了一种 MODEST（MOdality DEcorrelating STable）学习框架，采用基于核的独立性检验测量方式，以学习用户对多媒体内容中不同模态的偏好，提高多媒体推荐性能。
PDFa year ago
生成语义通信：超越比特恢复的扩散模型
本研究提出了一种新颖的扩散引导框架的语意通信，通过高度压缩的语意信息来降低带宽使用，然后利用扩散模型从这些去噪的语意信息中学习合成语义一致的场景，从而生成保留语义信息的高质量图像。
PDFa year ago
细粒度跨模态虚构和不协调情况的误信息检测框架
本研究关注于通过图像 —— 标题对传播虚假信息的交叉多模态误传（CMM），并提出一种名为 FIGMENTS 的评估基准集合，以消除一模式偏见，并开发了一种名为 CHASMA 的方法来生成可靠的合成数据，最终得到了在二元和多类设置中提高了性能
PDFa year ago
EMNLP借用人类感官：面向社交媒体多模态分类的评论感知自我训练
本研究提出了一种利用用户评论建模和自监督学习的方法，用于在社交媒体上进行图像文字关系分类、讽刺检测、情感分类和仇恨言论检测等多模态分类任务，结果表明该方法进一步提高了先前最先进模型的性能。
PDFa year ago
多媒体推荐中的潜在结构挖掘
本研究提出了一种基于 LATent sTructure mining method for multImodal reCommEndation（即 LATTICE）的方法，该方法从多种模式中挖掘潜在语义项目 - 项目结构，以学习更好的项目表
PDF3 years ago
CVPR利用情感因果关系对多媒体内容进行情感分析
通过 Affect2MM，我们提供了一种用于多媒体内容时间序列情感预测的学习方法，利用情感因果理论来计算实现对电影片段中情感的显式建模，通过基于注意力机制和格兰杰因果性的方法来显式建模情感的时间因果性，并使用 LSTM 的情感感知模型进行评
PDF3 years ago
MM情感不欺人：利用情感线索的音视频 Deepfake 检测方法
本文提出了一种基于学习的方法来检测真实和虚假的 deepfake 多媒体内容，通过提取和分析同一视频中两种音频和视觉模态之间的相似性，以及提取和比较情感线索来推断输入视频是 “真实” 还是 “虚假”，并提出了一种深度学习网络，同时利用音频和
PDF4 years ago
媒体取证和 DeepFakes：概述
本综述分析了视觉媒体完整性验证的方法，着重于探讨深度伪造现象和现代数据驱动的法医分析方法，以揭示现有取证工具的限制、相关问题、挑战和未来研究方向。
PDF4 years ago
利用多域视觉信息进行虚假新闻检测
本文提出了一种名为 Multi-domain Visual Neural Network (MVNN) 的框架，该框架将频率和像素域的视觉信息融合起来用于检测假新闻图像。在真实数据集上的实验表明，MVNN 比现有方法至少提高了 9.2% 的
PDF5 years ago
社交媒体与卫星图像中的自然灾害检测：综述
本文通过对社交媒体和卫星影像等灾害相关多媒体内容的回收、整理和分析，总结了灾害检测和多媒体内容分析的已有研究成果，包括文本、社交媒体视觉内容和卫星影像三个领域，并提出了未来趋势和面临的挑战。
PDF5 years ago
跨语言跨平台谣言验证在多媒体内容上的支点
文章提出了利用跨语言平台特征检验谣言的新方法，通过对内外信息间的语义相似度进行比对进而获取最佳效果。
PDF6 years ago