Mar, 2024

当前基于 LLM 的对话推荐用户模拟器的局限性分析

PDF
TL;DR使用大型语言模型构建用户仿真器在对话推荐系统中存在一些限制和评估方法上的问题，因此提出了 SimpleUserSim 方法通过简单策略指导话题以显著提高推荐结果。
conversational recommender systemuser simulatorslarge language modelslimitationsevaluation methods
发现论文，激发创造
  • 基于 LLM 的可控、可扩展、人参与的用户模拟器框架用于对话推荐系统

    我们介绍了一种可控、可扩展和人工参与的用户模拟器框架 (CSHI)，通过插件管理器管理用户模拟器的行为，以提供更真实和令人信服的用户交互体验，并通过实验证明我们的框架能够适应各种对话推荐设置并有效地模拟用户的个性化偏好，从而促进对现有 CRS 研究的可靠评估和高质量对话推荐数据集的创建。

    May, 2024

  • 在对话式推荐系统中利用大型语言模型

    本文提出了一个使用大型语言模型的端到端大规模语音推荐系统，并介绍了一些技术和实现细节，包括用户偏好理解、灵活对话管理、基于 LLM 的用户仿真器等。

    May, 2023

  • 在大语言模型时代重新思考对话式推荐系统的评估

    本文介绍了利用大型语言模型进行对话推荐的研究，并提出了一种基于 LLM 的用户模拟器的交互式评估方法 iEvaLM，从而改善了现有的评估协议。在两个公共数据集上的实验表明，ChatGPT 展现出较大的优势，并强调解释性的评估。此研究有助于更深入地理解 LLMs 在 CRSs 中的潜力，并为未来的研究提供一个更灵活、易于使用的评估框架。

    May, 2023

  • 一种大型语言模型增强的对话式推荐系统

    利用大型语言模型开发了一种新的会话式推荐系统（LLMCRS），能够有效管理子任务、解决不同的子任务、并生成与用户交互的响应，通过细化工作流程和使用强化学习的反馈优化，实验结果表明其性能超过现有方法。

    Aug, 2023

  • 通过用户模拟评估对话式推荐系统

    本文提出一种通过用户模拟来替代人类评估的方法，以实现对话推荐系统的自动评估。作者表明，通过考虑用户的个人喜好和与系统的一般交互流程，偏好建模和特定任务交互模型都有助于实现高度自动化的绩效评估结果和人工人工评估的高度相关性。

    Jun, 2020

  • 评估大型语言模型作为生成式用户模拟器用于对话推荐

    通过五项任务评估语言模型在对话推荐中模拟人类行为的效果，研究发现基准模拟器的评估可以揭示语言模型与人类行为的差异，并提供了模型选择和提示策略的见解。

    Mar, 2024

  • 多智能体对话推荐系统

    我们提出了一种包含多个模块的多智能体对话推荐系统 (MACRS)，该系统可以通过控制对话流动以及利用用户反馈来改进推荐性能，并展示了在推荐和用户偏好收集方面相较于直接使用大型语言模型 (LLMs) 的用户交互体验的改进。

    Feb, 2024

  • 对话式推荐系统的进展与挑战：综述

    本文系统地回顾了当前对话式推荐系统（CRSs）的技术，总结了 CRSs 开发中的 5 个关键方向：基于问题的用户偏好获取、多轮对话推荐策略、对话理解和生成、开发利用折中和探索等方法的算法、以及 CRSs 的评估和用户模拟问题，并根据这些研究方向讨论了一些未来的挑战和机遇。

    Jan, 2021

  • 基于外部知识和目标指导的基于 LLM 的对话推荐系统

    本文旨在高效地使大型语言模型在会话推荐系统任务中使用外部知识和目标引导。通过对先进的大型语言模型在特定领域的会话推荐系统任务中的局限性进行综合评估，我们发现外部知识和目标引导对于推荐准确性和语言质量有显著的贡献。基于这一发现，我们提出了一种新颖的 ChatCRS 框架，通过实现知识检索代理和目标规划代理，将复杂的会话推荐系统任务分解为多个子任务。在两个多目标会话推荐系统数据集上的实验结果表明，ChatCRS 建立了新的最先进基准，将信息的语言质量提高了 17%，主动性提高了 27%，并且推荐准确性提升了十倍。

    May, 2024

  • 电商售前对话中的会话式推荐系统与大型语言模型的完美结合

    本文研究了将大型语言模型与对话型推荐系统结合在电子商务售前对话中的有效性，并提出了两种协作方法：对话型推荐系统辅助大型语言模型和大型语言模型辅助对话型推荐系统。通过对真实世界电子商务售前对话数据集进行广泛实验，我们分析了两种协作方法在四个任务上对电子商务售前对话的影响，发现 CRS 和 LLM 之间的协作在某些情况下非常有效。

    Oct, 2023