May, 2023

使用图像、文本和参数数据的多模态机器学习进行车辆评级预测

PDF
TL;DR该研究提出了一种基于多模式学习的汽车评级预测方法，通过同时学习汽车参数规格、文本描述和图像来预测五个汽车评级分数。比较多模式和单模式模型的表现，发现多模式模型的解释能力比单模式模型高 4%-12%。
vehicle rating predictionmulti-modal learning modelparametric specificationstext descriptionsimage
发现论文，激发创造
  • 利用口碑文本和人口统计学的多模态深度学习预测客户评分：在市场营销中处理消费者异质性

    本研究构建了一个产品评价模型，通过多模态学习在线产品评价和消费者个人信息，考虑了消费者异质性，同时比较了不同模态或超参数的多个模型，以展示多模态学习在营销分析中的稳健性。

    Jan, 2024

  • 面向统一的多模式个性化：基于大型视觉语言模型的生成式推荐及其延伸

    UniMP 是一种统一的多模式个性化系统的范式，通过使用多模态数据并消除任务和模态特定定制的复杂性，充分发挥了基础生成模型的灵活性和效力，以实现广泛的个性化需求，包括物品推荐、产品搜索、偏好预测、解释生成和用户引导的图像生成。

    Mar, 2024

  • 感知得分：您的模型感知哪些数据模态？

    本文提出了感知分数的概念，通过该指标对多模态数据集中的各种输入特征进行评估，发现最新的视觉问答或视觉对话多模态模型相较于它们的先驱越来越少重视视觉数据，这趋势引起了担忧，需要对此展开讨论并提出解决思路。

    Oct, 2021

  • 基于注意力机制的多模态数据顺序推荐系统

    提出了一种基于多模态数据的关注机制的序列推荐方法，该方法利用图像、文字和类别等多模态数据，利用 attention 操作和多任务学习损失，提高了推荐系统的性能。

    May, 2024

  • 一张图 worth 一千字吗？一种深度多模融合 e-commerce 商品分类模型

    该论文采用决策级融合方法将文本和图像输入用于产品分类预测，通过训练深度神经网络和学习网络来选择输入类型，并成功地提高了大规模产品分类数据集上的准确性。

    Nov, 2016

  • 图像不会骗人：将深度视觉语义特征传递到大规模多模态学习中的排序

    本文介绍了一种多模式学习排序模型，它将传统特征和来自深度卷积神经网络的视觉语义特征相结合，用于电子商务中的搜索结果排序。在 Etsy 线上商场的大规模实验中，我们验证了多模式表示显著提高了排名质量，并展示了图像信息成功解开了文本模型难以区分的高度不同物品对的面纱。

    Nov, 2015

  • 多模态机器学习中的模态影响

    本研究旨在探讨每种模态对 Multimodal Machine Learning 模型的影响，并针对不同分类任务的数据集和模型，提出了一种确定每种模态对 Multimodal Machine Learning 模型的影响的方法。研究结果对于理解多模态学习中每个模态的作用，并为该领域的未来发展提供了有价值的见解。

    Jun, 2023

  • 使用多模态数据融合的监控进行车辆跟踪

    本论文提出了一种基于多模态数据融合的车辆跟踪框架，该框架利用图像处理和速度估计的方法对城市区域中的车辆进行跟踪，并通过 Kalman 滤波等方法实现车辆定位和轨迹跟踪的任务。实验结果表明了该方法的高效性。

    Oct, 2018

  • 利用文本和数值数据流的多模态深度学习进行信用评级预测

    本研究对于公司信用评级的深度学习模型进行结构化数据和非结构化数据的多模态融合，其中以卷积神经网络为基础的模型与两种融合策略的效果最佳；此外，我们还发现更复杂的深度学习模型未必能够带来最好的性能，然而，如果注意力机制为性能最佳，那么交叉注意力机制为必要的融合策略；最后，我们比较了短期、中期和长期表现，并得出 Moody's 信用评级超过标普和惠誉等其他机构的结论。

    Apr, 2023

  • 多模态分类分析社交媒体

    本研究使用池化层和辅助学习任务进行多模态社交媒体数据分类，具有良好的鲁棒性和高准确性，并与传统融合方法相比有着显著的优势。

    Aug, 2017