Search | BriefGPT - AI 论文速递

搜索结果 - 200

OneCAD：多模态学习用于所有图像数据集的一个分类器
本文提出了一种名为 OneCAD 的框架，通过 Multimodal learning 和 Mask-Image-Modeling 技术，用于训练和推理 Transformer 模型，使得模型架构不再与数据集中的类别数相关，并在 MNIST
PDF7 months ago
交替梯度下降和专家混合模型用于综合多模态感知
该研究介绍了一种称为 “Integrated Multimodal Perception（IMP）” 的多模态多任务训练和建模方法，采用转换编码器对图像、视频、文本和音频等多模态输入进行整合处理，在一系列下游任务中实现了竞争性能和提高。在零
PDF7 months ago
通过相关最大化和最小化实现多模态理解
使用 Multimodal Understanding Through Correlation Maximization and Minimization（MUCMM）框架，该框架可以轻松地嵌入到任何预训练网络中，学习模态数据的常见和个体
PDF7 months ago
通过知识增强的多模态预训练实现医疗人工通用智能
提出了一种基于 Medical-knOwledge-enhanced mulTimOdal pretRaining (MOTOR) 模型的医学人工通用智能模型，通过融合不同的基本医学知识，实现了对于医学预训练模型较好的跨模态对齐，形成了一种
PDF7 months ago
多模态神经过程用于不确定性估计
提出了一种新的多模态神经过程模型，称为 Multimodal Neural Processes，该模型通过动态上下文存储、多模态贝叶斯聚合机制和新的注意力机制来进行多模态不确定性估计，实验结果表明其在多模态不确定性估计方面表现优异。
PDF8 months ago
CVPR双重对比损失的多模态摘要生成：Align and Attend
介绍了一种基于 transformer 的模型：Align and Attend Multimodal Summarization (A2Summ)，可以处理不同模态的输入。作者提出了两种新的对比损失函数来建模不同样本间的相互关系和内部关系
PDF9 months ago
EMNLP多模态情感分析中的单模编码和跨模态预测的多模态对比学习
本文提出了一种名为 MultiModal Contrastive Learning (MMCL) 的新型框架，用于捕捉多模态表示中的内部和外部动态。我们采用对比学习技术，包括单模态对比编码和伪孪生网络，来过滤内嵌噪声和捕获跨模态动态。此外，
PDFa year ago
ICLR基于知识图谱的多模态类比推理
本研究介绍了基于知识图谱的多模式类比推理任务，并通过构建 Multimodal Analogical Reasoning 数据集和 Multimodal knowledge graph MarKG 进行评估。研究表明，从多模态源获取信息可以
PDFa year ago
多模式讲座演示文稿数据集：理解教育幻灯片中的多模式性
介绍了一个为了测试机器学习模型在多模态教育内容理解方面表现的新的数据集 ——Multimodal Lecture Presentations 数据集，并且提出了两个任务 —— 解释和说明教育内容，其中前者实现语音识别，后者实现视觉内容合成。
PDFa year ago
MACSA: 一个多模态的方面 - 类别情感分析数据集，包含多模态细粒度对齐注释
本研究提出了 Multimodal Aspect-Category Sentiment Analysis (MACSA) 数据集，其中包含了超过 21K 个文本 - 图像对，提供了针对文本和视觉内容的细粒度注释，并首次使用 aspect c
PDFa year ago
SIGIR多模态知识图谱完成的多层级融合混合变压器
本文提出了一种具有多级融合和混合变压器结构的 Multimodal Knowledge Graphs，用于解决多模态知识图谱完成任务中的问题，并在四个数据集上取得了 SOTA 性能。
PDF2 years ago
WikiDiverse：一个多模态的实体链接数据集，具有多样化的上下文主题和实体类型
本研究提出了 WikiDiverse，一个高质量的人工注释的 Multimodal Entity Linking（MEL）数据集，利用该数据集提出了一系列好的基于 intra-modality 和 inter-modality attent
PDF2 years ago
MQDD：面向软件工程领域的多模态问题重复检测的预训练
本文提出了一种新的方法，在 Stack Overflow 网站上收集数据并预训练多模态模型来搜索重复的问题回答。通过引入两个新的学习目标，我们设计的多模态模型可以在多种编程语言中训练，从而提高重复检测的能力。最终我们得到了一个 MQDD（M
PDF2 years ago
ACLMSCTD: 一种多模态情感聊天翻译数据集
本研究介绍了一项名为 Multimodal Chat Translation (MCT) 的新任务，旨在通过与对话历史和视觉上下文相关联的信息来生成更准确的翻译。为此，构建了一个 Multimodal Sentiment Chat Tran
PDF2 years ago
ICML几何多模态对比表示学习
本研究提出了一种名为 Geometric Multimodal Contrastive (GMC) 的表示学习方法，采用两级体系结构和多模态对比损失函数，可用于处理缺失数据，在三个不同的学习问题上实现了最先进的性能。
PDF2 years ago
具有可操作感知的多模态神经 SLAM 学习行为
提出一种神经 SLAM 方法，利用多种模态进行探索，预测可承受意义地图并在其上进行规划，从而显著提高了探索效率，实现了鲁棒的长程规划，使得机器智能能够更有效地识别视觉和语言信息。在 ALFRED 基准测试中，相对先前发表的作品，提出的 Af
PDF2 years ago
多模态视频字幕生成的端到端生成预训练
提出了一种新的预训练框架 Multimodal Video Generative Pretraining (MV-GPT)，通过利用未标记视频中的未来话语作为附加文本源并引入双向生成目标，以从生图像和录制语音直接生成说明的端到端模型来有效地
PDF2 years ago
MAGIC: 多模态关系图对抗推理，用于不同和不配对的基于文本的图像标题
研究了如何利用 unpaired training paradigm 生成多样化的文字图像描述，提出了 Multimodal relAtional Graph adversarIal inferenCe (MAGIC) 框架，并使用一种级联
PDF2 years ago
AAAI使用预训练单模型进行 SIMMC 2.0 的多模态交互
本文介绍了我们在 Dialog State Tracking Challenge 10 上进行的 Situated Interactive MultiModal Conversations 2.0 挑战中的工作和方法，提出了一种结合图像和文
PDF2 years ago
AAAI好香的香水。你泡在里面泡了多久？多模态的讽刺解释
该论文提出了一个新的问题：多模态讽刺解释（MuSE），旨在针对一个带有图像和标题的多模态讽刺贴文，生成自然语言解释以揭示意图的讽刺。通过使用一个跨模态注意力的 Transformer 编码器，并使用 BART 的自回归解码器作为生成器，该论
PDF2 years ago