本文提出了一种基于提示的增量视频摘要方法，采用少样本的方式提取语义概念并结合聚类和查询技术提高摘要生成效率，并通过实验证明使用视频中相关实体和动作作为提示能够增强模型生成的摘要。

Mar, 2023

通过对多模式图像使用提示来提高图像的语义理解能力，将视觉与语言处理相结合，以生成更准确的预测和识别图像，并通过提供更强大的图像表示来改进单模态模型，这是一个有前途的研究领域。

May, 2023

该文章介绍了一种基于多模式提示的创新图像质量评估方法，通过精心设计的提示，从视觉和语言数据中挖掘增量语义信息，在不同数据集上展现出竞争性能，达到了鲁棒性和准确性的提升。

Apr, 2024

通过构建多任务模型、保留高保真度的视频本机时空分词器、以及可解释的词汇术语与视觉观察之间的映射，我们的研究证明了多模态潜在空间设计的可行性，并提出了一种优于行业标准编解码器的视频本机时空分词器，从而在视频合成方面实现了语言模型超越扩散模型的首次突破。进一步地，我们的可扩展视觉令牌表示法在生成、压缩和理解任务中都表现出明显的优势。这项研究的成果为未来在生成非文本数据、实现实时互动体验等方面提供了有趣的潜力。

May, 2024

利用深度神经网络对 AI 生成的图像进行质量评估存在挑战，我们引入了一个大型多模态模型辅助 AI 生成图像质量评估（MA-AGIQA）模型，通过文本提示敏锐感知语义信息并提取语义向量，并使用专家混合结构动态整合语义信息和传统 DNN 基于 IQA 模型提取的质量感知特征来解决当前 IQA 模型在语义感知方面的不足，实验证明 MA-AGIQA 在评估 AI 生成图像质量方面具有最先进的性能和出色的泛化能力。

Apr, 2024

通过图像和提示的融合，IP-IQA 是一个多模态框架，旨在解决 AI 生成图像质量评估中的问题，并在 AGIQA-1k 和 AGIQA-3k 数据集上达到最先进的水平。

Mar, 2024

该文介绍了一种基于多模态数据边缘似然的分层变分自编码器的族群。文章使用 VAEGAN 及基于流的模型构建了模型。实验结果表明，对于图像、标签和文本数据，这些模型在很多领域中达到了最优结果，并且使用 GAN 图像模型和 VAE 语言模型可以得到更好的表现。最后，在配合口语的任务中，该文章发现用于学习图像表达的表示比只使用视觉数据中学习的等效表示更抽象、更组合。

Dec, 2019

本文研究了基于视频对话生成，提出一种方法，可以将视频数据集成到预训练语言模型中，通过多模态推理实现各种模态之间的互补信息，实验结果表明，该模型能够在自动和人工评估方面显著优于现有的最先进模型。

Oct, 2022

提出了一种半监督学习框架 SemiDQG，通过使用未标注的对话数据来改进模型性能，使用类似度选择策略选取高质量伪查询进一步训练模型，并采用 REINFORCE 算法作为精细化训练信号，实验结果表明该框架在跨领域和资源有限场景中具有显著优势。

Dec, 2023

本研究介绍了一种基于模块化方法的场景感知机器人视觉定位框架，该方法通过训练每个模块来独立解析实体、属性和空间关系，并结合领域自适应技术解决常见问题。实验表明，该框架与 Sim-To-Real 实现的视觉识别方法相结合，能够提供一种数据高效、稳健且易于理解的视觉定位机器人方案。

May, 2022