ImplicitAVE：一个开源数据集和隐式属性值提取的多模态 LLMs 基准

Apr, 2024

ImplicitAVE：一个开源数据集和隐式属性值提取的多模态 LLMs 基准

ImplicitAVE: An Open-Source Dataset and Multimodal LLMs Benchmark for Implicit Attribute Value Extraction

Henry Peng Zou, Vinay Samuel, Yue Zhou, Weizhi Zhang, Liancheng Fang...

TL;DR通过 ImplicitAVE 数据集，本研究提供了第一个公开的多模态隐式属性值提取数据集，并探索了多模态大型语言模型在隐式属性值提取中的应用，为多模态大型语言模型在 ImplicitAVE 数据集上建立了综合基准。

Abstract

Existing datasets for attribute value extraction (AVE) predominantly focus on explicit attribute values while neglecting the implicit ones, lack product images, are often not publicly available, and lack an in-depth human inspection across diverse domains. To address these limitations,

attribute value extraction implicit attribute value multimodal dataset multimodal large language models implicit value extraction

发现论文，激发创造

MAVE: 多源属性值提取产品数据集

该论文介绍了一个新的 MAVE 数据集，由 2.2 百万个商品和 3 百万个属性值注释构成，可以更好地促进产品属性值的提取研究。除了提供多源表示，MAVE 还包含了更多和多样化的属性和值，并提供了一个非常具有挑战性的零 - shot 测试集。

Dec, 2021

EIVEN：多模态 LLM 实现高效的隐式属性值提取

在电子商务中，准确从多模态数据中提取产品属性值对于提高用户体验和零售商的运营效率至关重要。为了解决这些问题，我们引入了 EIVEN，一个数据和参数高效的生成框架，首次使用多模态 LLM 来进行隐含属性值提取，并通过对比学习技术降低模型混淆，构建了多模态隐含属性值提取的初始开源数据集。经过广泛实验，我们发现 EIVEN 在提取隐含属性值方面明显优于现有方法，并且需要更少的标记数据。

Apr, 2024

基于知识增强的多标签少样本产品属性值提取

通过使用原型网络基于生成的标签描述和类别信息，结合混合注意力以减少噪音并捕获更多信息以实现更具有区别性的原型，我们提出了一种基于知识增强型注意力框架（KEAF）的多标签少样本学习（FSL）的属性值提取模型，并通过整合支持集和查询集的语义信息来学习动态阈值实现多标签推断。大量的实验和消融研究表明，KEAF 在少样本学习中的信息提取任务中优于其他 SOTA 模型。

Aug, 2023

探索生成模型提取产品标题的联合属性值

本文提出了基于生成式框架的 Attribute Value Extraction 任务处理方法。通过将 AVE 任务定义为生成问题并提出了单词序列和位置序列两种生成式范例。在两个数据集上进行实验，结果表明所提出的框架可以无需额外标记或任务特定模型设计即可取得新的最先进的结果。

Aug, 2022

M$^3$AV: 多模式、多文体和多用途的音视频学术讲座数据集

通过提供高质量的人工注释，本文提出了一个全新的多模态、多类型和多用途的音频 - 视频学术讲座数据集，旨在支持多种音视频识别和理解任务，从而展示了 M^3AV 数据集的多样性和挑战性。

Mar, 2024

AesBench：多模态大型语言模型在图像美学感知方面的专业基准

通过构建一个包含多样化图像内容和高质量专业审美专家注释的专家标记的美学感知数据库（EAPD）和一套综合性评判标准，我们提出了 AesBench 来全面评估多模态大规模语言模型（MLLMs）的美学感知能力，实验结果表明，目前的 MLLMs 只具有初步的美学感知能力，与人类之间仍然存在显著差距。希望此研究能激发学术界对 MLLMs 美学潜力的进一步探索。

Jan, 2024

基于知识的简单有效的查询扩展实现 QA 型产品属性提取

提出基于简单知识驱动的查询扩展方法，从训练数据中检索查询的值，通过两个方法来训练模型，结果表明该方法在电商网站上的属性值提取任务中具有较好的性能提升，特别是对于罕见和模糊的属性的提取效果更明显。

Jun, 2022

AesExpert：面向图像美学感知的多模态基础模型

通过构建 Aesthetic Multi-Modality Instruction Tuning（AesMMIT）数据集，并基于该数据集进行 fine-tuning，实现了 multi-modality Aesthetic Expert 模型，即 AesExpert，其在审美知觉性能方面显著优于当前最先进的 MLLMs

Apr, 2024

MAVD：首个带深度信息的开放式大规模普通话视听数据集

这项工作旨在建立 MAVD，这是一个新的大规模普通话多模态语料库，包括由 64 名中国本土说话者发出的 12,484 个话语，其中包括深度信息，可用于评估音频视觉语音识别的有效性。

Jun, 2023

AMELI：细粒度属性增强的多模态实体链接

提出了属性感知的多模态实体链接技术，利用多模态知识库中每个实体的文本描述、图片和属性值，结合 18,472 个评论和 35,598 个产品的大型数据集 AMELI，揭示属性信息在实体链接过程中的重要性，建立了该领域的基准数据集和解决方案。

May, 2023