本文介绍了 UPainting 这个同时适用于简单和复杂场景图像生成的模型，利用预训练的 Transformer 语言模型作为文本编码器，结合预训练的图像 - 文本匹配模型进行跨模态引导，提高了生成图像的样本保真度和图像 - 文本对齐程度。在中英文简单和复杂场景的对比实验中，UPainting 相对于其他模型表现得更加优异。

Oct, 2022

本文介绍一种基于多视角融合技术的人物造型编辑方法，通过多视角输入的关键点和纹理信息生成像素级外观检索图，并应用于多视角人物造型和人物图像混合等任务，研究单视角编辑的限制与多视角的优势。

Nov, 2022

本文研究了在时尚等领域中建立有效的推荐系统的挑战，并提出了一种基于 Siamese CNNs 以及深度学习网络的时尚感知图像表示和推荐方法，通过在像素级别训练图像表示和推荐系统，可以显著提高推荐性能和生成新的时尚产品设计。

Nov, 2017

本研究提出了一种多模态非对称 UNet（MMA-UNet）的方法，通过为不同模态分别训练专门的特征编码器和实施交叉尺度融合策略，在相同的表示空间中保持不同模态的特征，从而实现了可视化自然且语义丰富的红外和可见光图像信息融合。该方法在融合效率上优于现有的对比融合方法。

Apr, 2024

我们构建了一个简单而新颖的基于 Transformer 的多模态操纵检测和定位任务框架，通过引入视觉 / 语言预训练的编码器和双支路交叉注意力来同时探索模态特定的特征，并提出了解耦的细粒度分类器和自适应地聚合全局上下文线索的隐式操纵查询，从而提高了揭示伪造细节的能力，实验证明我们提出的模型在 $ m DGM^4$ 数据集上表现优于现有方法。

Sep, 2023

本研究提出了使用多模态文本图片数据集预测日本动漫热门度的方法，通过使用从互联网中获取的开源数据构建这一数据集，利用基于 GPT-2 和 ResNet-50 的深度神经网络模型，研究多模态文本图片输入与热门度之间的相关性，发现数据集的相关优势和弱点。通过使用均方误差（MSE）度量模型的准确性，当考虑所有输入和完整版本的深度神经网络时，获得最佳结果为 0.011，而传统的 TF-IDF 和 PILtotensor 向量化方法获得的基准 MSE 为 0.412。这是首次使用多模态数据集来解决此任务，揭示了即使使用相对较小的模型（ResNet-50）对图像进行嵌入处理也能带来的显著好处。

Jun, 2024

无监督预训练及早融合策略的统一多模态无监督表示学习框架（UmURL）旨在提取骨架输入的统一表示，通过特征分解和对齐保证多模态特征包含各模态的完整语义，并在各种场景中实现鲁棒动作理解。该框架在三个大规模数据集上取得了新的多种下游任务场景中骨架 - based 动作表示学习的最先进性能。

Nov, 2023

提出了一种基于多模态数据的关注机制的序列推荐方法，该方法利用图像、文字和类别等多模态数据，利用 attention 操作和多任务学习损失，提高了推荐系统的性能。

May, 2024

本文介绍了一种有效的多模态特征融合框架，其中采用了两种创新的融合方案，可在一个共享的单一网络中学习多模态特征，并引入两个非对称融合操作，以增强跨通道的多模态特征交互并增强通道内的空间特征区分能力。实验结果表明，本文提出的框架在语义分割和图像翻译任务中表现优异。

Aug, 2021

该论文利用多模式人工智能和矩阵分解技术进行表示学习，通过同时处理文本和图像数据，评估所得到的学习表示，并使用下游分类和回归任务对其进行评估。

Apr, 2022