visual encoders | BriefGPT - AI 论文速递

关键词visual encoders

搜索结果 - 8

视频预测模型作为通用视觉编码器
本研究探讨了开源视频条件生成模型作为下游任务的编码器的潜力，重点研究了使用 BAIR 机器人推动数据集进行实例分割。研究人员提出使用视频预测模型作为通用视觉编码器，利用其捕捉关键的时空信息的能力，对实例分割等任务至关重要。受人类视觉研究的启
PDFa month ago
ACL迷失在空间：探索视觉和语言重采样的细粒度空间理解
通过使用诊断分类器测量重新采样器生成的视觉提示的空间信息，我们发现在对分类器进行训练时，冻结的重新采样器输出中缺乏这些信息，但当重新采样器和分类器联合训练时，我们观察到显著的性能提升。这表明重新采样器所实现的压缩原则上可以编码必要的空间信息
PDF2 months ago
面向手术姿势识别的零样本基于提示的视频编码器
利用 Bridge-Prompt 框架，我们对预训练的 vision-text 模型 (CLIP) 进行微调，以在外科手术视频中进行手势识别。实验结果显示基于提示的视频编码器在外科手势识别任务中优于标准编码器，尤其在零样本情况下表现出强大性
PDF3 months ago
MouSi：多视觉专家视觉语言模型
使用集成专家技术，从不同的视觉编码器中协同能力，通过融合网络统一处理来自不同视觉专家的输出，并解决图像编码器和预训练 LLMs 之间的差距，同时探索不同的位置编码方案以解决位置溢出和长度限制问题，实验证明，具有多个专家的 VLMs 在性能上
PDF5 months ago
现代电子游戏中数据高效的模仿学习的视觉编码器
通过对视觉编码器与传统任务特定的端到端训练方法在现代游戏中进行模仿学习的系统研究，推动了更广泛的参与现代游戏中游戏代理研究。
PDF7 months ago
评估对于需要空间几何推理的物体组装任务的视觉表示的稳健性
本研究主要评估和基准测定在物体装配任务中视觉表示的鲁棒性。研究采用了一个视觉运动策略学习的通用框架，将预训练模型用作视觉编码器，并发现从头开始训练的视觉编码器在双臂操纵设置中表现出更好的性能，而现有的预训练模型则不足以满足此任务所需的重要视
PDF9 months ago
从 CLIP 到 DINO：多模式大型语言模型中的视觉编码器喊出来
该研究通过对多模态大型语言模型（MLLMs）中不同视觉编码器的有效性进行深入调查，发现了 CLIP 的浅层特征在细粒度任务（如定位和区域理解）中具有特殊优势。同时，研究还发现没有经过文本 - 图像对齐预训练的视觉模型 DINO 在 MLLM
PDF9 months ago
VIGC: 视觉指令生成和校正
本文提出了视觉指令生成和校正（VIGC）框架，使多模态大型语言模型能够生成指令调整数据并在生成过程中逐步提高其质量。
PDF10 months ago