Aug, 2023

M3PS：电子商务中的端到端多粒度多模态属性感知产品摘要

PDF
TL;DR提出了一种多模态属性感知的端到端多粒度多模态产品摘要方法 (M3PS)，用于在电子商务中生成高质量的产品摘要，并且能够克服现有的产品摘要方法存在的问题。
multi-modal product summarizationend-to-endmulti-grained multi-modal modelingmulti-modal attribute modelinge-commerce
发现论文，激发创造
  • 基于谓词匹配的实体摘要

    本文提出了一种名为 MPSUM 的方法来解决实体概括生成的问题，该方法使用概率主题模型并集成谓词唯一性和对象重要性的想法进行三元组排名，以生成简洁但代表性的实体概括。在使用 DBpedia 和 LinkedMDB 数据集进行对比实验后，结果表明我们的方法提高了实体概括的质量。

    May, 2020

  • 多模态产品图像分割的互查询网络

    本文提出一种基于视觉和语言两种形式的模态的互相查询网络，用于产品图像的分割，并构建了一个多模态产品分割数据集（MMPS），实验结果表明该方法显著优于现有方法。

    Jun, 2023

  • 多模态摘要综述

    本文综述了多模式自动摘要 (MMS) 领域内的现有研究，包括文本、图像、音频和视频等各种模式。除了强调用于 MMS 任务的不同评估指标和数据集之外，我们的工作还讨论了该领域中当前的挑战和未来方向。

    Sep, 2021

  • Product1M：通过跨模态预训练实现弱监督实例级产品检索

    这篇论文针对电子商务中存在的多样化需求和多模态数据问题，提出了一种基于实例级的、弱监督、跨模态的商品检索方法，在构建一个包含千万张图像 - 标题对的大型数据集 Product1M 的同时，提出了一个用于商品实例级检索的新型模型 ——CAPTURE，该模型通过多模态学习和交叉模态对比预训练来捕获多模态输入的潜在协同作用，并生成判别性特征，比多个基线模型表现更佳。

    Jul, 2021

  • InstructPTS：针对产品标题摘要的指导式调整语言模型

    通过对商品标题进行指导性调优，我们提出了 InstructPTS，一种能够按照不同标准（如摘要中的字数、特定短语的包含等）总结产品标题的可控方法。在真实世界的电子商务目录上进行的大量评估表明，与仅使用 LLMs 进行简单调优相比，我们所提出的方法能够生成更准确的产品名称摘要，BLEU 和 ROUGE 分别提高了 14 个和 8 个分数。

    Oct, 2023

  • 面向产品标题摘要的多源指针网络

    本文提出了一种面向移动设备的电子商务应用中产品标题摘要问题的处理方法 —— 多源指针网络。该方法通过新增知识编码器处理以下两个约束：不引入无关信息和保留关键信息。实验证明，该方法显著优于其他基线。实际在线业务部署通过点击率也得到了验证。

    Aug, 2018

  • 时尚电商中的多模态端到端产品匹配

    在线市场与电子商务公司中，产品匹配是识别同一产品不同表示以提高可发现性、整理性和定价性的重要能力。我们在一个行业环境中提出了一个强大的多模态产品匹配系统，其中大规模的数据集、数据分布转移和未知领域带来了挑战。我们比较了不同的方法，并得出结论，通过预先训练的图像和文本编码器的相对简单的投影，通过对比学习进行训练，可以在成本和性能方面取得最新的结果。我们的解决方案优于单模态匹配系统和大规模预训练模型，例如 CLIP。此外，我们展示了如何将人机协作过程与基于模型的预测相结合，实现在生产系统中接近完美的精度。

    Mar, 2024

  • 电子商务的多模态属性提取

    本文介绍了一种基于多模态架构和深度模型的方法，从文本和图像中提取商品属性，旨在改善在线市场的用户体验。在实验中，该方法表现出良好的效果，并成功应用于 Rakuten-Ichiba 等在线市场。

    Mar, 2022

  • MHMS: 多模态分层多媒体摘要

    本文提出一个交互视觉和语言领域的多模式多媒体总结（MHMS）框架，旨在通过多模式输出为新闻文章自动生成封面图片和标题，或为在线视频提供介绍。本文的 MHMS 方法包含视频和文本细分和摘要模块，分别生成代表性关键帧和文本摘要，并利用最优输运距离制定跨域对齐目标，从而增强了跨域交互并产生高质量的多模式摘要。本文在三个最近发布的多模式数据集上评估了 MHMS 方法的效果。

    Apr, 2022

  • 基于场景的电子商务多产品广告文案生成

    本篇论文提出了一种用于电子商务的自动化场景多产品广告文案生成系统 (SMPACG)，它由两个主要组成部分构成：1) 自动化多产品组合选择模块，2) 自动化多产品广告文案生成模块。该系统是第一个实现了场景驱动的多产品广告内容自动生成，在电子商务推荐系统中得到了应用并被用作商家实时的写作助手工具。

    May, 2022