language supervision | BriefGPT

关键词language supervision

搜索结果 - 6

GAugLLM：使用大型语言模型改进文本属性图的图对比学习
本研究通过语言监督来改善视图生成，介绍了 GAugLLM 框架，利用先进的大型语言模型（如 Mistral）增强自监督图学习，通过混合提示专家技术生成增强的节点特征，以及协作边修饰器来增强边的生成。实验结果表明，该框架可以作为插件工具增强领
PDF15 days ago
AAAI通过指令预测提高长期模仿能力
本研究探讨在长时间跨度规划中，利用语言指令作为辅助监督的方法，使用 transformer-based 的模型，通过 instruction modeling 不断改善 agent 在 BabyAI 和 Crafter 等基准环境中的规划表
PDFa year ago
开放词汇目标检测的学习目标语言对齐
提出了一种使用自然语言监督学习从配对的图像文本数据中直接学习的新型开放词汇目标检测框架，通过将对象 - 语言对齐形式化为一个图像区域特征集合和一个词向量集合之间的集合匹配问题，可以更简单和有效地在图像 - 文本对上训练开放词汇对象探测器，并
PDF2 years ago
标题：标题值得 1000 张图片？控制学习的研究
通过比较图像和语言数据的传输表现，研究证明，当预训练数据集足够大而又包含了低变异性的描述性标题时，对于分类任务来说，仅使用图像的方法不能与 CLIP 的传输性能相匹配。
PDF2 years ago
民主化对比语言 - 图像预训练：一个数据、模型和监督的 CLIP 基准
本文提出 CLIP-benchmark，对 CLIP 及其变种进行评估、分析和基准测试，并发现了数据、监督和模型架构三个关键因素对性能的影响及应用更恰当的监督可以有效提高 CLIP 性能。
PDF2 years ago
从 VQA 数据中学习视觉对话代理
研究如何提高视觉对话代理的适应性，使其可以在不忘记如何与人交谈的情况下，高效地适应新任务。通过分解意图和语言，减少在新任务中语言漂移的情况，并通过定性结果、自动化指标和人类研究证明我们的模型可以适应新任务并保持语言质量。
PDF4 years ago