Jun, 2024

V-RECS, 一种低成本的 LLM4VIS 推荐器，附有解释、字幕和建议

PDF
TL;DRNL2VIS 研究领域涉及将自然语言查询解释并将其转化为准确代表底层数据的可视化，为非专家用户大大便利了数据探索；本文提出了 V-RECS，首个具有解释、标题和进一步数据探索建议的基于 LLM 的视觉推荐系统，通过细化小型模型的方法解决了强大 LLMs 的计算、可控性和成本问题，使用 Chain-of-Thoughts（CoT）技术来生成有洞察力的可视化叙述来辅助 LLM 的指导，V-RECS 在性能上与 GPT-4 相当，但成本更低，该研究通过发布 V-RECS 帮助可视化设计师整个可视化生成过程。
nl2visvisualizationv-recsllmvisualization narratives
发现论文，激发创造
  • Rec-GPT4V：大型视觉语言模型的多模态推荐

    利用大型视觉 - 语言模型进行多模态推荐的研究中，研究人员通过引入用户历史和基于图像摘要生成的查询方式，克服了大型视觉 - 语言模型面临的用户偏好知识和多样复杂图像序列问题，并验证了该方法的有效性。

    Feb, 2024

  • LLM4Vis：使用 ChatGPT 进行解释性可视化推荐

    LLM4Vis 是一个基于 ChatGPT 的提示方法，可执行可视化推荐，并使用极少数量的演示示例返回类人的解释，通过考虑先前生成的解释和基于模板的提示进行迭代性微调生成的解释。在 VizML 数据集上的评估表明，LLM4Vis 在少量示例和零示例设置中优于或类似于 Random Forest、Decision Tree 和 MLP 等监督学习模型，并通过定性评估显示 LLM4Vis 生成的解释的有效性。

    Oct, 2023

  • Chat-REC：面向可交互和可解释的 LLMs 增强型推荐系统

    本文提出使用大型语言模型与 Chat-Rec 范例的对话推荐系统（CRS）来提高传统推荐系统的互动性与可解释性，并演示了其在学习用户喜好和在零样本评级预测任务的表现改进方面具有的有效性。

    Mar, 2023

  • 探索 GPT-4V (ision) 的推荐能力：初步案例研究

    通过研究 GPT-4V (ison)，我们发现多模态模型在推荐任务中的潜力，并证明了 GPT-4V 具有出色的零 - shot 推荐能力，同时也发现了其在类似输入上提供相似响应的局限性。我们希望激发进一步研究下一代多模态生成式推荐模型，以提供更多样性和互动性，从而增强用户体验。

    Nov, 2023

  • LlamaRec：利用大型语言模型进行两阶段推荐排序

    最近，大型语言模型 (LLMs) 在语言理解和生成方面取得了显著的进展，通过利用文本特征，定制 LLMs 也被应用于推荐，并在各种推荐场景中展示出改进。为了验证所提出框架的有效性，在基准数据集上与最先进的基线方法进行比较，我们的实验结果证明了 LlamaRec 的性能，在推荐性能和效率方面都取得了卓越的表现。

    Oct, 2023

  • 基于大型语言模型的复合视觉线索进行零样本视觉关系检测

    通过使用 RECODE 方法，利用预训练图像 - 语言模型，我们能够解决零样本可视关系检测中存在的问题，提高了关系检测的准确性和可解释性。

    May, 2023

  • 从错误到正确：一种递归方法用于视觉语言解释

    针对有限注释的视觉推理任务，我们提出了一种递归视觉解释算法（ReVisE），通过逐步计算视觉特征、答案和解释来提高解释质量，同时作为宝贵的用于少样本自我训练的注释，该方法在几项指标上超过以往方法，仅利用人类注释的 5% 的数据，VCR 和 VQA-X 数据集的 BLEU-1 得分分别提高了 4.2 和 1.3，突显了我们方法的有效性和数据效率。

    Nov, 2023

  • 基于提示的半结构化自然语言状态追踪的检索增强型对话推荐

    对话式推荐系统必须理解用户偏好和意图的丰富多样的自然语言表达，而这些表达通常以间接方式传达（例如：“我在控制体重”）。这些复杂的话语使得检索相关物品变得具有挑战性，尤其是当只使用通常不完整或过时的元数据时。幸运的是，许多领域都有丰富的商品评价，这些评价涵盖标准的元数据类别并提供与用户兴趣相匹配的复杂意见（例如：“适合约会的高档场所”）。然而，直到最近，大尺度语言模型让我们能够揭示用户偏好表达和用户生成评价之间的常识联系。进一步而言，大尺度语言模型还能够实现半结构化对话状态跟踪、复杂意图和偏好理解，以及生成推荐、解释和问题回答等新颖范式。因此，我们引入了一种名为 RA-Rec 的新技术，一种以大尺度语言模型为驱动的检索增强型对话状态跟踪系统，用视频、开源 GitHub 存储库和可交互的 Google Colab 笔记本展示了这项技术。

    May, 2024

  • GenRec: 大型生成式推荐模型

    使用大型语言模型 (LLM) 为基础的生成式推荐 (GenRec) 方法，通过解释上下文、学习用户偏好和生成相关推荐，充分利用大型语言模型编码的丰富知识，为推荐系统带来革命性的潜力和未来发展方向。

    Jul, 2023

  • CoVLM：通过通信解码在大型语言模型中组合视觉实体和关系

    我们提出了 CoVLM 框架，通过引入通信令牌实现视觉感知与 LLMs 之间的无缝连接，从而大幅提升了以往视觉语言模型在组合推理任务上的性能，并在传统的视觉 - 语言任务中取得了最先进的表现。

    Nov, 2023