多模态上下文调优通过多模态枢纽的引入，利用了多模态语言模型的潜力，从而提升了多模态上下文调优方法的性能。在各种多模态任务的广泛实验中，该方法明显优于传统的调优策略和直接将来自不同模态的所有信息连接在一起的方法。

Dec, 2023

在线市场与电子商务公司中，产品匹配是识别同一产品不同表示以提高可发现性、整理性和定价性的重要能力。我们在一个行业环境中提出了一个强大的多模态产品匹配系统，其中大规模的数据集、数据分布转移和未知领域带来了挑战。我们比较了不同的方法，并得出结论，通过预先训练的图像和文本编码器的相对简单的投影，通过对比学习进行训练，可以在成本和性能方面取得最新的结果。我们的解决方案优于单模态匹配系统和大规模预训练模型，例如 CLIP。此外，我们展示了如何将人机协作过程与基于模型的预测相结合，实现在生产系统中接近完美的精度。

Mar, 2024

本文提出了一种基于多模态提示学习框架的方法，通过仅使用少量标注数据快速高效地为新颖产品生成标题，并在不同场景中进行实验证明，在仅使用 downstream 标签数据 1% 的情况下，该方法实现了最佳 few-shot 学习效果，甚至与完全监督的方法相比也具有竞争力。

Jul, 2023

通过引入 MultiModal In-conteXt Tuning (M$^2$IXT) 模块，扩展感知范围来提升多模式语境学习的能力，并通过混合任务策略训练，实现在多个任务和数据集上的快速少样本适应，在模型参数方面显著减小，为多模式语境学习者提供了灵活而有效的解决方案。

Oct, 2023

该论文提出一种名为 K3M 的新方法，通过引入知识模态来进行多模态预训练，以解决实际 E-commerce 场景中的产品数据中存在的多模态噪声和缺失问题，并在真实世界的 E-commerce 数据集和一系列基于产品的下游任务上显示出明显的性能提升。

Aug, 2021

本研究基于文本和图像模态探讨了一种基于多模态晚期融合的方法，以对 Rakuten 上的电子商务产品进行分类，并证明了该方法相比于单模态和其他多模态方法的有效性和优越性。该研究团队在 SIGIR 2020 电子商务研讨会数据挑战赛的多模态产品分类任务中以 0.9144 的 macro-F1 得分荣获第一名。

Aug, 2020

该论文采用决策级融合方法将文本和图像输入用于产品分类预测，通过训练深度神经网络和学习网络来选择输入类型，并成功地提高了大规模产品分类数据集上的准确性。

Nov, 2016

该研究通过使用 LLAMA 2.0 7B 语言模型实现自动化产品描述生成，并在实践中证明其在提高电子商务平台搜索功能和销售额方面具有显著商业影响。

Oct, 2023

本研究构建了一个大规模的双语产品描述数据集，并设计了一个统一的产品导向跨模态跨语言模型来学习诸如对象、形状、颜色和主体风格等多方面的视觉语义，证明了我们的模型在多个产品领域中的显着优势。

Aug, 2021

我们提出了一种新的具有多模态输出功能的视觉理解的上下文学习框架，通过将文本和视觉提示量化和嵌入到统一的表示空间中，并采用仅具有解码器的稀疏 Transformer 架构在其上执行生成建模。实验结果表明，我们的模型在统一的多模态管线中实现了与专门模型和先前上下文学习基准模型相竞争的性能。总体而言，我们的研究在统一多模态上下文学习方面迈出了进一步的一步。

Dec, 2023