multimodal summarization | BriefGPT

关键词multimodal summarization

搜索结果 - 10

多模式摘要的细粒度和可解释性事实评估
多模态概括旨在根据文本和图像生成简洁的摘要，但现有方法潜在地存在不实输出。为了评估多模态概括模型的真实性，我们提出了两个细粒度且可解释的评估框架（FALLACIOUS），用于不同的应用场景，即基于参考物的真实性评估框架和基于非参考物的真实性
PDF5 months ago
ACLCFSum：一种用于多模态摘要的粗粒度到细粒度贡献网络
我们提出了一种新的粗略到精细的多模态总结贡献网络 (CFSum)，以考虑图像在总结中的不同贡献。CFSum 在标准基准测试中明显优于多个强基线，并通过分析验证了图像对生成隐含在图像中的非视觉词语的帮助。
PDFa year ago
MultiSum：用于视频的多模式摘要和缩略图生成的数据集
通过创建包含视频和文本内容的人工验证摘要、17 个主分类和 170 个子分类的全面的数据集 MultiSum dataset，本文针对现有公共 MSMO 数据集的限制进行研究，进行了基准测试，并推出了数据收集工具和开放源代码资源以促进透明度
PDFa year ago
ACL利用互信息最大化进行视频多模态融合的降噪瓶颈
本论文提出了一种细粒度的视频多模态融合去噪模型（DBF），它使用了瓶颈机制来过滤噪声和冗余信息，并采用互信息最大化模块来调节过滤器以保留不同模态中的关键信息。实验表明，我们的 DBF 模型在多个基准测试中均取得了显着的改进效果，涵盖了多模态
PDFa year ago
CVPR双重对比损失的多模态摘要生成：Align and Attend
介绍了一种基于 transformer 的模型：Align and Attend Multimodal Summarization (A2Summ)，可以处理不同模态的输入。作者提出了两种新的对比损失函数来建模不同样本间的相互关系和内部关系
PDFa year ago
CISum: 学习跨模态交互以增强多模态概述的语义覆盖范围
提出多任务交叉模态学习框架（CISum）以通过学习多模态文章中的跨模态交互来改善多模态语义覆盖。将图像转换为视觉描述，与文本内容相关联，进而与文本内容融合以生成文本摘要，选取最相关的图像作为视觉摘要。设计自动多模态语义覆盖评估指标并在实验证
PDFa year ago
EMNLP多模态抽象摘要中事实性的评估与提高
我们提出了 CLIPBERTScore，一种结合 CLIPScore 和 BERTScore 的加权组合度量方法，用于多模式事实性摘要的评估，并在多个数据集上证明了其效果。
PDF2 years ago
基于最优传输对跨领域摘要生成的语义一致性对齐
本文提出了一种语义一致的跨域多媒体概述模型，该模型基于最优传输对视觉和文本分割进行交互匹配，并用于选择视觉和文本摘要，以从整个视频和文章中捕获结构语义，从而通过多媒体交互来匹配和选择。三个最近的多模式数据集中证明了该方法的有效性，以生成高质
PDF2 years ago
AAAI多模态摘要的层次交叉语义关联学习模型
本文提出了一种基于层次交叉模态语义相关性学习模型（HCSCL）的多模态文本摘要方法来处理含异构内容的文本新闻报道。该模型通过采用图网络编码内部相关性和层次融合框架学习文本和图像之间的内部和层次相关性，同时使用含图像注释和目标标签的数据集提供
PDF3 years ago
AAAIUniMS: 面向多模态摘要的统一框架与知识蒸馏
提出了一种基于 BART 和 UniMS 的统一多模式摘要框架，该框架集成了抽取和生成目标，以及图像选择，通过视觉语言预训练模型进行知识蒸馏来改进图像选择，并引入视觉引导解码器来更好地整合文本和视觉模态，证明了提出的方法明显改善了多模态摘要
PDF3 years ago