multimodal integration | BriefGPT

关键词multimodal integration

搜索结果 - 8

VLM 注意到了什么？一个用于无噪音文本 - 图像破坏与评估的机制可解释性流程
通过在视觉语言模型中引入 NOTICE 技术，实现了对其决策过程的透明化和可解释性，从而揭示了关键的决策因素和多模态整合中的中间层交叉注意力。
PDF10 days ago
通过迭代多模态融合实现漫画中的零样本角色识别和说话人预测
漫画处理中的角色识别和对话者预测是至关重要的，本研究提出了一种零样本方法，利用未注释的漫画图像单独识别角色和预测说话者名称，并通过一个迭代的多模态框架进行实验验证。
PDF2 months ago
厘清 “半满还是半空” 的问题：多模态容器分类
本文比较了在 NICOL 机器人的实验环境下，融合视觉、触觉和本体感数据的不同可能性，并演示了多模式解决方案在分类容器及其内容方面的优越性，评估了在不同时间步骤集成数据的三种融合策略，并发现最佳融合策略的准确度比仅使用单一感觉的最佳策略高出
PDFa year ago
智能车辆系统中集成生成人工智能
本文旨在为研究人员和实践者提供综合指南，介绍生成式人工智能和基础模型在智能汽车背景下的现状、潜在应用和未来研究方向，讨论其在语音、音频、视觉和多模态交互等领域的应用和与伦理相关的挑战和风险，以及关键未来研究领域，包括领域适应性、对齐、多模态
PDFa year ago
关系提取的单模态和多模态表示训练
通过排除每种数据类型并独立评估文本和布局数据，我们研究了文本、布局和视觉信息的相对预测能力，证明了针对关系提取任务训练联合表示的有效性。我们的实验表明，双模态的文本和布局方法表现最佳，同时文本是最重要的单一预测因子，布局几何形状也具有高度预
PDF2 years ago
MM超越言语：测试预训练 V&L 模型在计数任务中的跨模态能力
本研究探讨了预训练视觉和语言模型在两个需要多模态集成的任务中的推理能力：（1）区分正确的图像 - 句子对与不正确的对，以及（2）计算图像中的实体。结果显示，预训练的 V＆L 模型非常擅长解决任务（1），但无法充分解决任务（2），即计数探针，
PDF4 years ago
EMNLP多模式语音识别的细粒度对齐
本篇研究使用自动物体提议从图像的不同区域提取更精细的视觉信息，以改善多模式自动语音识别的效果并增强对语音中覆盖物的实体恢复能力。实验表明该模型可以定位正确的提议，提取更多的相关单词（如形容词），进而实现更好的识别效果。
PDF4 years ago
图像标题生成器中的图像放置位置
本文研究了用于字幕生成的循环神经网络语言模型中，将图像信息直接融入 RNN 或在 RNN 之后融合图像信息的两种不同的结构。研究表明，采用哪种结构对性能并没有太大影响，但融合结构可以使 RNN 的隐藏状态向量缩小多达四倍。因此，多模态集成应
PDF7 years ago