visual embeddings | BriefGPT

关键词visual embeddings

搜索结果 - 7

CVPRVideoDistill: 视频问答的语言感知视觉蒸馏
通过受到人类认知和学习模式的启发，我们提出了一种视频问题回答（VideoQA）的框架 VideoDistill，该框架在视觉感知和答案生成过程中具有语言感知（即以目标驱动为特征）的行为，通过思考、观察和回答的方式生成与问题相关的显著图像。
PDF3 months ago
生成用于开放词汇视频动作识别的动作条件提示
通过创新地将视频模型与大型语言模型相结合，本研究采用基于行动条件的提示方法来增强文本嵌入的人类先验知识，从而在开放词汇视频动作识别中实现了新的最佳性能，并具有优越的可解释性。
PDF7 months ago
SPHINX：多模态大型语言模型的权重、任务和视觉嵌入的联合混合
SPHINX 是一个多模态、大型语言模型，通过权重混合策略、任务调整和视觉嵌入实现了强大的视觉 - 语言对齐能力，具备多样的功能性，包括机器指导、理解任务、图像表示和视觉推理，为未来的多模态语言模型研究提供了实质性的贡献。
PDF8 months ago
CVPRAVFormer: 为冻结的语音模型注入视觉信息以实现零样本 AV-ASR
AVFormer 是一种简单的方法，使用轻量级可训练的适配器将视觉嵌入注入到冻结的语音识别模型中，并引入了一种培训方案。同时用小量且弱标注视频数据进行培训。实验结果表明，该方法在三个不同的音视频 ASR 基准（How2、VisSpeech
PDFa year ago
CVPR基于语义的零样本学习视觉嵌入
提出了一种称为 joint embeddings for zero-shot learning 的方法，通过计算代理任务上的两流网络中的联合图像和文本模型来学习语义基础和丰富的视觉信息，并利用辅助字幕来提高图像和文本表示之间的对齐，从而在多
PDF3 years ago
使用类比法检测未见过的视觉关系
该研究旨在利用个体嵌入和视觉短语嵌入组合来检测图像中的视觉关系三元组，通过类比关系进行传递学习，以解决视觉关系收集训练数据的困难性，并在 HICO-DET，COCO-a 和 UnRel 三个挑战性数据集上得出了较显著的实验结果。
PDF6 years ago
从单一遍历中学习可部署的千米级导航策略
通过单次覆盖遍历记录数据，提出了一种有效地在移动机器人上快速学习面向目标导航策略的方法，并且能够在实际机器人上成功地部署，同时能够处理测试时的环境外观差异。
PDF6 years ago