Jun, 2024

语言与视觉助手在视觉环境下的高效自然语言理解：阅读和推理中哪些是重要的

PDF
TL;DR通过识别关键组件和创建具有受限推理成本的高效模型，重新定义了视觉语言模型的设计，以实现推理吞吐量的显著提高，并保持高性能。
发现论文，激发创造
  • 语言空间中的图像：探索大语言模型在视觉和语言任务中的适用性

    本篇文章研究了如何通过联合对话模型和语言模型使其能够有效地处理视觉信息，解决了在有限样本时视觉 - 语言任务的问题，使输出更易于解释。

    May, 2023

  • 视觉与语言研究中的挑战与前景

    本文对语言图像理解中人工智能评估的进展和局限进行了综述，并提出了解决方案。

    Apr, 2019

  • 朝着能够看见的语言模型：通过自然语言镜头看计算机视觉

    LENS 是一种模块化的方法，针对计算机视觉问题，利用大型语言模型进行推理，可以应用于零 / 少样本对象识别，以及视觉和语言问题。

    Jun, 2023

  • 自然语言视觉推理

    本论文提出了一个自然语言视觉推理的任务，通过图片和描述语句的配对，预测描述语句在给定场景中的真假。该任务涉及自然语言、机器人代理、语言输入、视觉推理以及合成图像等方面。

    Oct, 2017

  • 增强视觉模型以实现对文本密集内容的理解和交互

    增强视觉模型对包含大量文本信息的图像进行理解和学习的能力，通过数据预处理、微调和模型评估等方法，在集成 CLIP 和文本嵌入模型的视觉聊天应用中取得了 96.71% 的精度，旨在提升复杂视觉文本数据的跨模态人工智能理解能力。

    May, 2024

  • 分析有限数据中语言与视觉在学习中的作用

    语言对理解视觉世界有何帮助？实际观察世界还是通过文字描述更重要？通过分析具有语言和视觉能力的人工智能模型，研究人员发现语言提供了先前的知识和推理能力，有助于从有限数据中学习新任务。

    Feb, 2024

  • 遥感中的视觉语言模型：当前进展与未来趋势

    本文针对远程感知领域，综述图像与文字有关的任务及相关研究领域中，采用视觉语言模型的最新进展和挑战，以及未来的发展方向。

    May, 2023

  • 视觉和语言推理：探索补充知识的益处

    本文研究了将通用知识库中的知识注入视觉 - 语言模型中，并通过辅助训练目标增加了语义和关系知识的表征，实现了对问题回答、视觉推理等任务中的性能提升，这种技术不依赖于特定的模型，具有较小的计算开销。

    Jan, 2021

  • 训练一种视觉语言模型作为智能手机助手

    利用大型语言模型和视觉语言模型，我们的研究致力于解决数字助理执行各种用户任务的挑战，特别是在基于指令的移动设备控制领域。通过与用户界面进行交互，我们的模型利用设备屏幕的视觉输入并模拟人类般的交互，包括点击和滑动等手势。这种输入和输出空间的广泛适用性使得我们的代理能够与设备上的任何应用程序进行交互。与以往方法不同的是，我们的模型不仅仅操作单个屏幕图像，还通过过去截图序列和相应操作生成视觉语言句子。在具有挑战性的 “Android in the Wild” 基准测试中评估我们的方法表明其有效性和潜力。

    Apr, 2024

  • DeepSeek-VL: 实现真实世界的视觉 - 语言理解

    DeepSeek-VL 是一个开源的视觉 - 语言模型，设计用于实际的视觉和语言理解应用，通过多样性数据、基于用户场景的细分以及高效的编码方式来提升模型的用户体验和性能。

    Mar, 2024