当前语言模型在理解不易用文字描述的世界方面存在不足，并且在处理复杂和长期任务时存在困难。该论文通过利用视频序列的时间信息和语言的静态图像之间的联合建模，在人类文本知识和物理世界方面形成了深入的理解，从而实现了更广泛的人工智能能力。

Feb, 2024

使用长视频理解任务中的Large Language Models（LLMs）面临的挑战，本文提出了一种名为LongVLM的VideoLLM模型，通过分解长视频为短期片段，并使用分层令牌合并模块编码局部特征，维护顺序，整合全局语义信息，实现对长期视频的全面理解。实验证明了该模型在视频理解任务中的优越性能。

Apr, 2024

通过扩展语言模型的上下文长度，我们实现了视频片段中的长上下文传递，使得大型多模态模型能够理解数量级更多的视觉标记，并开发了一个纯合成的长视觉基准测试，证明了Long Video Assistant（LongVA）在处理长视频方面的优越性能。

Jun, 2024

本研究解决了多模态基础模型在处理长上下文时的局限。提出的LongVILA是一种全栈解决方案，通过引入多模态序列并行系统和五阶段模型训练流程，显著提高了长视频的上下文处理能力。实验结果表明，LongVILA在长视频字幕生成方面的分数提高了1.6倍，表明其在视觉语言模型技术上的重要潜力。

Aug, 2024

本研究针对多模态基础模型中长上下文能力的缺失提出了解决方案LongVILA，包含系统、模型训练和数据集开发三个方面。通过首个长上下文多模态序列并行系统，LongVILA在训练和推理中显著提升速度，并构建了大型视觉语言预训练数据和长视频指令跟随数据集，以支持其多阶段训练过程，最终实现了长视频描述的准确率显著提高。

Aug, 2024

本研究针对多模态大语言模型（MLLMs）在视频理解、高分辨率图像理解及多模态代理中存在的长上下文能力不足问题，提出了一种新的混合模型架构，结合了Mamba和Transformer模块，并优化了数据构建与训练策略。研究表明，LongLLaVA能够在单个A100 80GB GPU上高效处理近1000幅图像，展现出良好的应用前景。

Sep, 2024

本研究针对长视频理解面临的独特挑战，探讨了多模态大语言模型（MM-LLMs）的设计与训练差异。通过总结现有研究进展，本论文揭示了在空间时间细节和长期依赖性方面的关键问题，并展示了MM-LLMs在不同视频长度理解基准测试中的表现，为未来长视频理解的方向提供了重要见解。

Sep, 2024

本研究解决了长视频理解中大多模态模型（LMMs）面临的性能挑战，特别是视觉和语言模态之间的上下文窗口差异。通过扩展视觉上下文窗口，研究提供了一种新的方法，可以在不重新训练长视频数据集的情况下适应长视频任务。此外，引入的渐进池化推理策略有效降低了内存消耗，同时保持了重要的空间信息，显著提高了长视频理解的性能。

Sep, 2024

本研究解决了现有大型多模态模型在长视频理解中的不足，提出了一种通过扩展视觉上下文窗口的方法，以便在无需重新训练长视频数据集的情况下应用LMMs。研究结果表明，该方法在多个长视频理解基准上均显著提升了性能，尤其是在内存使用方面的改进减少约45%的记忆消耗，且不影响性能表现。

Sep, 2024

本研究解决了训练和服务长上下文大语言模型（LLMs）时的高开销问题。提出的LongGen方法将上下文长度扩展与GPU友好的KV缓存减少架构相结合，显著提高了长上下文的表现和训练效率，展现了在128K长上下文下的训练加速和内存节省的显著成果。

Oct, 2024