基于预训练大型语言模型的多模态推荐零样本

Sep, 2023

基于预训练大型语言模型的多模态推荐零样本

Zero-Shot Recommendations with Pre-Trained Large Language Models for Multimodal Nudging

Rachel Harrison, Anton Dereventsov, Anton Bibin

TL;DR利用生成型 AI 领域的最新进展，我们提出了一种用于零样本推荐多模态非稳态内容的方法。我们将不同类型的输入呈现为文本描述，并利用预训练的 LLMs 通过计算语义嵌入来获取它们的数值表示。一旦获得了所有内容项的统一表示，可以通过计算它们之间的适当相似性度量进行推荐而无需额外的学习。我们在合成的多模态推动环境中展示了我们的方法，其中输入包括表格、文本和视觉数据。

Abstract

We present a method for zero-shot recommendation of multimodal non-stationary content that leverages recent advancements in the field of generative ai. We propose rendering inputs of different modalities as textu

zero-shot recommendation multimodal non-stationary content generative ai pre-trained llms similarity metric

发现论文，激发创造

视觉增强零样本图像分类的多模态大语言模型

使用多模态大语言模型 (Multimodal LLMs) 的简单且有效方法实现了零样本图像分类，通过生成全面的文本表示从而在交叉模态嵌入空间中生成固定维度特征，在线性分类器上融合这些特征以进行分类，取得了令人瞩目的效果。

May, 2024

使用预训练的大型语言模型进行零样本下一项推荐

研究发现，使用 Zero-Shot Next-Item Recommendation (NIR) 方法可以使 GPT-3 模型在没有用户历史交互记录信息的情况下，成功地推荐电影，且在电影推荐方面，它甚至可以胜过一些训练有素的顺序推荐模型。

Apr, 2023

大型语言模型可用于零样本推荐系统排序

此研究旨在探究大型语言模型在推荐系统中的排名能力，通过采用提示模板设计和引入特定策略，研究发现大型语言模型在候选物品的零 - shot 排名上有着很好的表现，但是若考虑历史互动的顺序、位移等因素，不同的提示和启发方法能够对大型语言模型的表现产生影响。

May, 2023

拓展界限：利用大型多模态模型探索零样本物体分类

该研究论文以大型多模型为主题，探索了通过特定数据集设计的提示词，使用 LMMs 来执行图像分类任务的功效，并研究了 LLVAs 的零样本学习能力。通过四个不同的数据集的基准分析，实验结果表明模型在 MNIST，Cats Vs. Dogs，Hymnoptera（Ants Vs. Bees）以及 Pox Vs. Non-Pox 皮肤图像等各个数据集上均取得了显著的性能，无需进行任何微调即可达到 85％，100％，77％和 79％的分类准确率。此外，细调后模型在面部照片和自闭症儿童的数据集上分别表现出了显著的改进，强调了 LLVAs 的变革潜力和在现实场景中的多样应用。

Dec, 2023

多模态语言模型的性能评估

该研究分析了不同的多模态指导调优方法，并评估了它们在复杂推理、对话、图像字幕、多项选择题和二元分类等任务中的性能，揭示了在将多模态能力融入大型语言模型时的架构选择的关键见解，但当前方法存在局限性，未能充分解决丰富多样的多模态指导数据集的需求和生成响应的真实性和事实性问题，这些发现阐明了适应图像理解的语言模型的现有方法学限制，并为寻求利用多模态版本的大型语言模型的研究人员和实践者提供了有价值的指导。

Oct, 2023

面向统一的多模式个性化：基于大型视觉语言模型的生成式推荐及其延伸

UniMP 是一种统一的多模式个性化系统的范式，通过使用多模态数据并消除任务和模态特定定制的复杂性，充分发挥了基础生成模型的灵活性和效力，以实现广泛的个性化需求，包括物品推荐、产品搜索、偏好预测、解释生成和用户引导的图像生成。

Mar, 2024

使用大型语言模型进行任意文本风格转换的方法

本文采用大型语言模型（LM）来进行零样式转移，提出了一种提示方法，称为增强的零样式学习，将样式转移作为句子重写任务，并仅需要自然语言指令，无需目标样式的模型微调或示例。增强的零样式学习简单易用，不仅在情感等标准样式转换任务上表现出色，而且可以进行任意变换，例如 “使其多愁善感” 或 “插入一个隐喻”。

Sep, 2021

基于零样本学习的机器教学构建模块化智能代理

利用大型语言模型作为零射击学习器的模块化人工智能代理的鲁棒性和性能可以通过迭代式机器教学方法提升，该方法通过有限的人类反馈在时间上训练人工智能代理，从而解决零射击学习的质量限制，并利用初始部署的数据和零射击学习器的输出或注解来训练更小且任务特定的替代模型，从而降低经济成本和环境影响。在三个与对话式人工智能代理相关的任务上的结果表明，在任务的复杂性和零射击学习器的性能决定下，仅对数据集的 20-70% 进行监督就可以实现接近理想结果的性能。

Jan, 2024

个性化多模态生成与大型语言模型

该论文提出了一种使用大型语言模型进行个性化多模态生成的方法，并通过实验验证了其性能，在推荐系统等应用中具有重要意义。

Apr, 2024

多模态大语言模型是文本到图像生成的人类对齐标注器

通过利用多模态大型语言模型创建 VisionPrefer，我们构建了一个高质量和细粒度的用户偏好数据集，用于指导文本到图像生成模型的训练，该数据集在多个偏好方面捕捉了人类的喜好，并且其性能优于之前的人类偏好度量标准，并证明了将人工智能生成的合成数据作为监督信号集成到视觉生成模型中，是实现与人类偏好更好的对齐的一个有前途的途径。

Apr, 2024