该研究提出了一种多模式方法，结合了产品图片和文本描述信息，以联合预测产品属性和提取属性值，实现了完备和准确的产品属性值数据集，并在实验中证明了显式建模属性和值之间关系以及选择性地利用产品信息可以提高任务表现。

Sep, 2020

本研究基于文本和图像模态探讨了一种基于多模态晚期融合的方法，以对 Rakuten 上的电子商务产品进行分类，并证明了该方法相比于单模态和其他多模态方法的有效性和优越性。该研究团队在 SIGIR 2020 电子商务研讨会数据挑战赛的多模态产品分类任务中以 0.9144 的 macro-F1 得分荣获第一名。

Aug, 2020

本文提出了一种多模态属性提取任务，旨在从不同类型的非结构化数据中提取实体的属性。通过使用 7 百万个不同产品项目的混合媒体数据集，我们展示了利用弱监督学习方法进行属性提取的有效性，并分析了各种信息模态相对于该任务的作用。

Nov, 2017

该研究旨在通过统一学习方案和动态范围缩小，提高多模式电子商务属性值提取的性能，通过预训练模型和动态范围缩小方法，将多模式任务联合训练，并选择属性原型来改进当前方法的预测性。

Jul, 2022

本论文提出了 MXT 框架，利用问题 - 回答任务解决电商产品页属性提取问题，同时提出生成模型，使用文本和图像来预测属性值，该系统能够处理传统分类和命名实体识别难以解决的零样本和无值问题，并使用远程监督训练，降低了维护模型的难度，实验结果表明，该框架的表现优于现有的先进模型。

Jun, 2023

本文提出了一个全面利用产品图像、光学字符识别（OCR）令牌和文本表示的、统一的属性提取框架，并通过训练解码器来预测产品类别和属性值，从而进一步扩展了该框架的能力。在包含多个产品类别和各种产品属性的电子商务平台上进行了评估，与仅使用文本特征的现有方法相比，该模型在 14 个产品类别上取得了 15％的召回率增益和 10％的 F1 得分增益。

Jun, 2021

在线市场与电子商务公司中，产品匹配是识别同一产品不同表示以提高可发现性、整理性和定价性的重要能力。我们在一个行业环境中提出了一个强大的多模态产品匹配系统，其中大规模的数据集、数据分布转移和未知领域带来了挑战。我们比较了不同的方法，并得出结论，通过预先训练的图像和文本编码器的相对简单的投影，通过对比学习进行训练，可以在成本和性能方面取得最新的结果。我们的解决方案优于单模态匹配系统和大规模预训练模型，例如 CLIP。此外，我们展示了如何将人机协作过程与基于模型的预测相结合，实现在生产系统中接近完美的精度。

Mar, 2024

本研究提出了一种多模态模型，通过使用多个神经网络模型从文本（CamemBERT 和 FlauBERT）和视觉数据（SE-ResNeXt-50）提取的特征，并采用简单的融合技术，显著提高了单一模态模型的性能和类似模型性能，我们实验了多种融合技术，并发现将单一模态网络的个体嵌入组合为特征向量的拼接和平均值结合的性能最好，每种模态互补了其他模态的缺点，证明增加模态数量可以是改善多标签和多模态分类问题性能的有效方法。

Jul, 2022

该论文采用决策级融合方法将文本和图像输入用于产品分类预测，通过训练深度神经网络和学习网络来选择输入类型，并成功地提高了大规模产品分类数据集上的准确性。

Nov, 2016

该论文展示了最近机器学习的进展，结合已发表的标准化细粒度产品类别信息的多语言数据集，使得在具有挑战性的迁移学习设置中实现了可靠的产品属性提取，可以跨在线商店、语言或两者可靠地预测产品属性，并且可用于匹配在线零售商之间的产品分类法。

Feb, 2023