本研究提出了一种针对Twitter客服对话数据的的细粒度对话行为分类方法，并使用序列SVM-HMM模型在实时中预测不同行为类型，最终以数据驱动的方法预测客服对话数据的重要结果，包括客户满意度、客户沮丧和解决问题的整体情况。研究结果显示，对话中某些行为类型和位置会对产生的结果产生显著影响，为人工客服平台提供了可用的指导规则。

Sep, 2017

使用大型语言模型（LLMs）辅助人类客服代理商自动生成现成或有改动的响应已成为许多公司降低雇用客服代理商成本的方式。本文通过使用成本框架评估一个 NLP 模型的实用性，将其应用于特定品牌的案例研究并比较三种 LLM 的专业化策略，发现模型的响应可用性可以补偿推理成本的巨大差异，并将研究结果推广到更广泛的企业领域。

Jun, 2023

研究了人们在现实世界中如何与大型语言模型进行互动的重要性，介绍了包含25个尖端的大规模语料库，共有100万条来自210K个独立IP地址的真实对话的LMSYS-Chat-1M数据集的内容、统计数据和主题分布，通过四个应用案例展示了其多功能性，并认为该数据集将成为理解和推进大型语言模型能力的有价值资源。

Sep, 2023

这篇研究论文介绍了一种创新的方法，使用定制化的大型语言模型（LLM）LangChain来自动化客户服务，通过融合开源方法、网页抓取、微调和将LangChain无缝集成到客户服务平台中，将传统客服技术（尤其是常见问题解答（FAQ））的过时性以及现实质感、上下文感知和个性化客户交互等向新的方向进行转变。

Oct, 2023

利用大型语言模型作为服务界面的附加功能，Ask Me Anything (AMA) 允许客服代理人在处理客户对话时随时向模型提问，模型实时提供准确的回答，节省了代理人的时间和成本。内部实验结果显示，使用AMA功能的代理人与传统搜索经验相比，每个包含搜索的对话节省了约10%的时间，年度节约金额达到数百万美元。使用AMA功能的代理人在接近80%的时间内提供了积极的反馈，证明其作为人工智能辅助功能在客户服务中的可用性。

May, 2024

通过插入人在开发周期的不同环节，如数据集收集、提示优化和生成输出的评估，我们改进了以大型语言模型驱动的人力资源支持聊天机器人的响应质量，探索了替代的检索方法，从而创建了一种高效、可扩展和灵活的工具，以有效解决员工的问题。我们的实验证明GPT-4优于其他模型，并能通过内部推理能力克服数据的不一致性。此外，通过专家分析，我们推断出G-Eval和Prometheus等无参考评价指标与人工评估的可靠性高度一致。

Jul, 2024

该研究解决了大语言模型（LLMs）在电子商务中评估其协助功能的不足，特别是在时尚领域的在线零售。通过创建一个包含4000条多语言对话的评估数据集，研究展示了LLMs如何有效地在客户与后台引擎之间进行互动，支持个性化的购物建议。该工作为时尚对话代理的实际应用提供了重要的数据支持，促进了相关工具的迭代开发。

Aug, 2024

本研究解决了如何高效地将自然语言命令转化为相应API调用的问题。我们提出了一种新系统，利用大型语言模型进行自然语言分类和自动生成示例数据集，从而降低软件使用门槛，提高交互效率。实验证明，GPT-4的高分类准确率（0.996）展示了大型语言模型在API管理中的潜在转变能力，强调了该系统在模型测试和选择中的有效性。

Sep, 2024

本研究解决了评估工具增强大型语言模型（LLMs）作为对话人工智能代理的挑战，特别是在现有数据集仅关注单一交互的情况下。论文提出了一种基于用户定义程序的多样化测试生成框架，并引入了ALMITA数据集用于评估客户支持中的AI代理。研究发现，虽然工具增强LLMs在单次交互中表现良好，但在完整对话中常常遇到困难。

Sep, 2024

本研究解决了客户服务聊天机器人中机器学习模型评估的不足，提出了一种针对自然语言理解、对话管理和自然语言生成的个性化评估方法。实验结果表明，BERT在意图检测中表现出色，DDQN在对话管理中优于DQN，而GPT-2在自然语言生成中超越DialoGPT，这为未来客户服务聊天机器人的开发和优化提供了基准和宝贵的参考。

Sep, 2024