multimodal context | BriefGPT

关键词multimodal context

搜索结果 - 8

ICCV多模态仇恨迷因分类中迷因与词汇的映射
本研究提出了一种名为 ISSUES 的新方法，利用预训练的 CLIP 视觉 - 语言模型和文本反转技术来有效捕捉多模态恶意网络迷因的语义内容，实现了在 Hateful Memes Challenge 和 HarMeme 数据集上最先进的结果
PDF9 months ago
ICCV在目标导向的视觉对话中指出人类答案错误
通过分析以前未使用的人类错误数据集，展示了人类回答错误与问题类型和视觉对话中的问答轮次的相关性，并通过使用简单的 MLP 模型和视觉语言模型的实验，证明了这些因素对于模型准确性在指向人类错误任务中的有效性。
PDF9 months ago
ACL基于 CLIPScores 的 PhotoBook 指代游戏的听众模型
该研究提出了一种基于 DeBERTa 的监听器模型，用于构建基于图片集的协作对话游戏，它可以直接预测是否将图片与合作伙伴分享，准确率高达 77％，比基线模型高出 17 个百分点。
PDFa year ago
EMNLP多模态上下文化计划预测用于体验式任务完成
本文研究了在任务规划中，使用多模态上下文和自然语言处理来进行高层次的计划预测，以提高机器人物理系统的可迁移性，并利用理想计划作为基准来评估计划预测模型的改进空间。
PDFa year ago
SIMMC 2.0：面向任务的沉浸式多模态对话数据集
本研究提出了一个基于真实情境的多模交互对话数据集 SIMMC 2.0，收集了 11,000 个在购物领域的用户 <-> 助手任务对话。数据集通过模拟器和手工语句改写收集，可用于对话系统的基准测试和自然语言处理研究。
PDF3 years ago
ECCV基于语言结构引导的上下文建模用于指代图像分割
该研究提出了一种基于依赖解析树抑制词语图的语言结构引导的多模态上下文建模方法，通过 “采集 - 传播 - 分发” 方案实现跨模态交互，完善地建模了句子的多模态上下文，实验证明该方法优于以往所有最先进的方法。
PDF4 years ago
从文本、音频、说话者身份的三模态上下文生成言语手势
本文提出了一种基于多模态上下文和对抗训练的自动生成手势模型，使用新的手势生成度量标准和主观人类评估表明，该模型优于现有的端到端生成模型。
PDF4 years ago
基于文本中检测物体的视觉问答融合
该研究论文介绍了一种结合视觉和自然语言的简单而强大的数据的神经体系结构；该架构称之为 “Bounding Boxes in Text Transformer”（B2T2），并且在统一架构中利用指涉信息将单词绑定到图像部分。B2T2 在 Vi
PDF5 years ago