multimodal input | BriefGPT

关键词multimodal input

搜索结果 - 6

多模态跨领域少样本学习用于主体动作识别
通过多模态输入和无标签目标数据解决跨领域少样本学习中视角行为识别的两个关键挑战，即视角视频的领域差异和实际应用的计算成本问题。提出了 MM-CDFSL 方法，通过教师模型的多模态蒸馏和集成遮蔽推理，增强模型对目标域的适应性并提高推理速度。在
PDFa month ago
从多模态输入中获取语言知识
利用 FLAVA 模型进行消融研究，独立变化文本和视觉输入量，发现多模态预训练既不损害模型的语言性能，也没有一致的帮助作用；然而，由于实验规模有限，这些结论还不完全确定，需要更好的架构和多模态训练技术来验证多模态输入对语言模型和人类数据效率
PDF4 months ago
GPT-4 到 GPT-3.5：' 把手术刀借我一用 '—— OpenAI GPT 在整形外科住院医师培训考试上的水平研究
本文研究通过多种选择题对 GPT-4 的能力进行评估，结果表明 GPT-4 在完成整形外科住院医师培训考试上，表现大幅提升，未来采用多模态输入，可以在以下考试中实现超人类表现。
PDFa year ago
InsertionNet 2.0: 使用多模态多视觉感知输入进行最小接触、多步插入
解决机器人快速、安全地学习插入技能的问题。提出了一种基于 InsertionNet 的方法，利用多模态输入和对比学习实现高效特征学习；引入一种关系网络方案实现了能够支持多步插入任务的一次性学习技术。该方法在 16 个真实插入任务中实现了近乎
PDF2 years ago
VUT: 面向多模态多任务用户界面建模的通用 UI Transformer
本研究提出了一种 VUT 多任务模型，可以同时完成 UI 镜像和结构编码、UI 对象检测、问题回答和命令接地等 5 个不同的任务。实验结果表明，VUT 在减少多任务模型数量和占用空间的同时，准确度也不逊于单独训练的基准模型。
PDF3 years ago
EMNLP小部件字幕：为移动用户界面元素生成自然语言描述
提出了一种通过多模态输入自动生成 UI 元素的语言描述的新任务：小部件字幕生成任务，并使用众包收集了一个大规模的包含 162,859 个语言短语的数据集以对此进行深入分析，该数据集涵盖了 21,750 个独特 UI 屏幕中的 61,285
PDF4 years ago