ACLMay, 2023

主观偏好下的多模式推荐对话：一项新的挑战和基准测试

PDF
TL;DR该研究介绍了一个名为 SURE 的新数据集，其中包含人类主观偏好和销售专家提出的推荐行为，用于评估多模态推荐代理的能力，并提出了一个基于 SURE 的基准模型。
发现论文，激发创造
  • SIMMC 2.0：面向任务的沉浸式多模态对话数据集

    本研究提出了一个基于真实情境的多模交互对话数据集 SIMMC 2.0，收集了 11,000 个在购物领域的用户 <-> 助手任务对话。数据集通过模拟器和手工语句改写收集，可用于对话系统的基准测试和自然语言处理研究。

    Apr, 2021

  • S3：一种简单而强大的样本有效的多模态对话系统

    我们提出了一个在多模态对话任务中具有潜在简单但强大效果的基线系统 S3 模型，在 MMMU 和 AI Journey Contest 2023 两个激动人心的榜单上取得了接近最先进的成果。该系统基于一个预训练的大型语言模型，图像和音频的预训练模态编码器以及一个可训练的模态投影器。所提出的用于训练这种架构的有效数据混合表明，基于强大的语言模型并在少量多模态数据上训练的多模态模型可以高效地执行多模态对话任务。

    Jun, 2024

  • 多模态交互对话

    本研究介绍了一种新的指向培训具有多模态输入上下文的代理，以及执行与其相关的多模态操作的模型 SIMMC，提供了两个 SIMMC 数据集，以及多个评估协议。

    Jun, 2020

  • PerSHOP -- 波斯购物对话系统建模的数据集

    本文通过众包开发了包含近 22k 个发言、15 个不同领域和 1061 个对话的波斯语对话数据集，并对其进行了标注以训练模型。同时，我们提出了一些用于自然语言理解（NLU）任务的基准模型，其中，意图分类的 F-1 得分约为 91％，实体抽取的 F-1 得分约为 93％，这可作为未来研究的基准。

    Jan, 2024

  • 坐标对话中的多模态物体识别

    通过探索三种方法并在 SIMMC 2.1 数据集上进行评估，我们提出了一种最有效的方法 —— 场景对话对齐，相较于 SIMMC 2.1 基准提升了约 20% 的 F1 分数。我们还分析和讨论了该方法的局限性以及未来研究的潜在方向。

    Feb, 2023

  • Amazon-M2：一个用于推荐和文本生成的多语言多地区购物会话数据集

    通过创建 Amazon-M2 数据集，我们提出了一种多语言多地区的购物会话数据集，用于模拟用户行为和偏好，从而帮助提升个性化推荐以及理解用户取向，为进一步的研究和实践带来新的见解。

    Jul, 2023

  • MIntRec：一个新的多模态意图识别数据集

    这篇论文介绍了一个新的数据集（MIntRec）来解决现有意图识别方法在实现多模态信息利用方面的限制。使用该数据集，通过提取每种模态的特征并采用三种强大的多模态融合方法，可以显著提高意图识别的效果。

    Sep, 2022

  • M5Product：电商多模态预训练的自协调对比学习

    该论文提出了一种基于 E-commerce 的多模态预训练数据集 M5Product 和一种名为 SCALE 的预训练框架，实现了不同模态特征的融合和学习，并在四个下游任务中展示了其优越性，该方法具有重要的数据集规模和多样性。

    Sep, 2021

  • 电子商务中大规模商品推荐生成的多模态推荐系统

    本文提出了两种可视化推荐系统，该系统可以自动为客厅家具配套筛选整个选择，以最大化配合效果和利用文本数据和多语言话题建模来推断风格。实验结果表明，从包括视觉和文本数据的产品集合中发现补充风格效果最好。

    Jun, 2018

  • 利用任务导向对话系统导航连接的记忆

    本文提出一种通过多轮互动对话进行个人媒体检索的方法，并利用一个基于任务的数据集 COMET 对其进行评估和基准测试。

    Nov, 2022