利用大型语言模型生成、验证和应用用户意图分类
利用大规模语言模型 (LLMs),我们提出了 TnT-LLM 两阶段框架,自动化生成和分配标签,以最小人工工作量构建具有轻量级监督分类器的训练样本,并在 Bing Copilot 上应用此框架来分析用户意图和对话领域,实验结果表明 TnT-LLM 生成了更准确和相关的标签分类法,实现了在大规模分类中准确性和效率之间的有利平衡。
Mar, 2024
通过与用户与搜索引擎的交互历史相关的上下文,我们提出了一种新颖且通用的方法,用于个性化输出,这对于理解用户当前的搜索背景以及他们历史上知道和关心的内容是必要的。我们验证了我们的方法在上下文查询建议的任务上优于几个其他 LLM 基准方法,生成了在上下文中更相关、个性化和有用的查询建议。
Nov, 2023
本文提出了一种统一的数据创建流程,只需一个格式示例,适用于包括传统上问题较多的任务在内的广泛范围,通过实验证明使用指令跟随型大型语言模型创建的数据比使用人工标注的数据在分布外评估上表现更好(高达 17.5%),同时在分布内任务上保持可比较的性能,这些结果对于在现实世界中部署的自然语言处理系统的稳健性具有重要意义。
Oct, 2023
使用大型语言模型和聊天机器人可以简化法律领域的信息获取流程,从而降低法律援助组织的工作量和成本,提高服务的可用性,并使其更容易被更广泛的人群所利用。然而,当前的语言模型存在一个关键挑战,即其倾向于过于自信地根据训练数据的输出分布提供客户问题的‘最佳猜测’,往往忽视了客户的真实意图或具体法律情况,因此,客户可能没有意识到提供重要的额外背景信息或表达其潜在意图的重要性,这在他们的法律案件中至关重要。本文展示了通过自由形式的语言交互使用大型语言模型来引出和推断客户的潜在意图和具体法律情况的概念验证,并提出了未来的研究方向,即使用有监督的精细调整或离线强化学习来在聊天机器人中自动融入意图和语境引出,而无需明确提示。
Nov, 2023
通过挖掘 StackOverflow 帖子中的实际自然语言到代码任务来创建一个数据集,该论文提出了一种以聚类选择为基础的提示技术来确定在 LLMs 提示中包含多少数据以及选择哪些数据,并通过实验表明 LLM 的性能确实对提示中所传递的数据量敏感,对于输入表中存在大量语法变化的任务,聚类选择技术优于随机选择基准模型。
Feb, 2024
这篇文章旨在通过大型语言模型对用户活动进行细致和透彻的理解,从而提高推荐平台上用户的个性化体验和更深层次的理解。通过提取兴趣轨迹并通过大型语言模型进行描述,我们证明了这种方法可以为用户提供深入、可解释和可控的理解,为用户体验提供新的可能性。
May, 2023
本研究旨在探讨如何设计自然语言提示以使聊天机器人能够自然地进行对话,从而可靠地收集用户自报数据。通过在线研究(N = 48),我们通过不同的自然语言提示设计和对话主题对聊天机器人进行了评估,并发现提示设计和主题显着影响了对话流程和数据收集表现。
Jan, 2023
本文介绍了一种基于大型语言模型的上下文学习方法,通过 GPT-3.5 和为主题元数据注释设计的提示,实现了自动元数据注释,在一些类别中表现出有前景的性能。
Oct, 2023
本文提出了一种利用大型语言模型和提示策略自动提取文档中的关键维度,并将其用于丰富数据集描述的方法。通过此方法,可以创建机器可读的文档,改善数据集的可发现性,评估其符合当前的 AI 法规,并改善对其训练的 ML 模型的整体质量。
Apr, 2024