language and vision | BriefGPT

关键词language and vision

搜索结果 - 6

PlayFusion: 通过语言标注游戏实践实现技能获得
通过学习无结构和未经整理的数据来生成语言和视觉方面的方法成为了主流。本论文研究了从带有事后语言标签的无结构游戏数据中学习目标导向技能策略的问题，并借助扩散模型的进展，从无结构游戏数据中提取机器人技能。
PDF7 months ago
走向用于知识图谱推理的基础模型
ULTRA 是一种基于条件交互的学习方法，用于构建能够适用于不同知识图谱的关系表示，并在 57 个不同的图谱上展示出类似或优于特定图谱的零样本归纳推理性能，同时细调进一步提升了性能。
PDF9 months ago
CVPR通过语言条件滤波器调节自下而上和自上而下的视觉处理
本文旨在探讨如何在涉及语言和视觉的多模态任务中最佳地整合语言和感知处理，并提出了使用语言来调节自下而上处理以及自上而下注意力的 U-Net 模型。实验结果表明，使用语言控制自下而上的视觉处理可提高多任务的细分结果表现。
PDF4 years ago
ACL了解自己不知道的：对提及未知类别物体的实用说话者进行建模
本文探讨了如何将零样本学习和实用语言组合在一起，提出了一种神经生成模型来推理不确定物体类别，并在参考游戏中进行了验证和比较。
PDF5 years ago
Touchdown: 视觉街景中的自然语言导航和空间推理
本篇论文研究了通过导航和空间推理任务共同推理语言和视觉的问题，介绍了 Touchdown 任务和数据集，通过真实的城市环境中的导航指令和自然语言来寻找隐藏在目标位置的物体。数据集包含 9,326 个英文指令和空间描述的示例，经验性分析表明，
PDF6 years ago
CVPR用不对称加权 CCA 和分级核句子嵌入实现图像与文本检索
本文提出了三个可以改善 CCB-MMR 检索性能的新方法，其中包括对称权重的首次使用，基于 Bjork Golub 算法的模型选择和基于核语义嵌入的层次核 CCA，这三种方法联合应用在 MSCOCO 和 Flickr 基准测试中表现优异。
PDF9 years ago