multimodal vision-language models | BriefGPT

关键词multimodal vision-language models

搜索结果 - 5

使用视觉 - 语言模型从图像中推断私密属性
通过研究多模式视觉 - 语言模型（VLMs）的影响力，我们发现这些模型能够从在线发布的图像中推理出个人属性，其中 7 个最先进模型的准确性高达 77.6％，这意味着未来的模型可能被用作更强大的对手，需要开发适当的防御机制。
PDF3 months ago
ILuvUI：从机器对话中调整的语言 - 视觉用户界面建模
使用生成配对文本 - 图像训练数据的方法，无需人工提供注释，适用于任何 UI 截图数据集，通过将现有的基于像素的方法与大型语言模型（LLM）相结合，对 UI 领域的 VLM 进行自动微调，以实现对 UI 任务的会话式 VLM 模型的性能评估
PDF9 months ago
基于视觉 - 语言模型在医学图像分割中的迁移学习探索
利用多模态视觉语言模型从图像描述和图像中捕捉语义信息，实现对多样化医学图像的分割，并评估其在医学领域的迁移性和基于生成提示的模型性能变化。
PDFa year ago
跨模态注意力一致性正则化用于视觉语言关系对齐
通过跨模态注意力实现多模态视觉语言模型中的关系级对齐，进而改进现有最优方法并克服了标准测评指标中的组合泛化困境。
PDF2 years ago
EMNLP通过丰富的字幕样本，提升仇恨模因检测
本文介绍了一种利用图像字幕工具引入自动字幕以模拟图像内容和遮盖文本间的对比，在处理讨论是否具有仇恨色彩的 “违反社交规范” 的表情包挑战中，可以改进单模型和多模型。同时，在处理单模型中，继续在增强和原始字幕对上进行预训练，对于分类准确性有很
PDF3 years ago