对大规模语言模型在超出预定义领域内意图检测任务中的能力进行了综合评估，揭示了它们的优势和劣势，发现 LLMs 表现出强大的零样本和少样本能力，但与使用完整资源进行微调的模型相比仍存在劣势。通过进一步的分析实验，讨论总结了 LLMs 面临的挑战，并提出了对未来工作的指导，包括注入领域知识、加强从领域内到超领域的知识转移和理解长指令。

Feb, 2024

该研究评估了不同尺寸的预训练语言模型（如 ChatGPT 和 OPT）在多个基准测试上对于口语语言理解（SLU）的影响。结果表明，最大的模型可在各种语言的语料库中使用零或少量注释即可接近于监督模型的意图分类准确性，但在槽填充方面表现不佳，并且对 ASR 错误敏感。

May, 2023

提出了一种新的任务 —— 广义意图发现（GID），旨在将传统的领域内意图分类器扩展到包括领域外意图在内的开放世界意图集。为未来的工作提出了基于管道和端对端两种框架，并构建了三个不同应用场景的公共数据集，通过详尽实验和定性分析，为未来 GID 研究提供了新的指导。

Sep, 2022

本研究探讨了 ChatGPT 在话语语篇分析中的能力，特别是话题分割、话语关系识别和话语分析三个任务的能力。结合创新的思维链（COT）方法，发现 ChatGPT 对于话题分割有较好的表现，但在话语关系识别和话语分析等较难的任务中有待提高。

May, 2023

通过原型引导的学习与重放和蒸馏方法，我们提出了一种连续的广义意图发现任务，旨在不断自动地从动态 OOD 数据流中发现 OOD 意图，并几乎不需要先前的数据将它们逐步添加到分类器中，从而朝着开放世界的动态意图识别迈进。

Oct, 2023

本文通过案例研究，以开放式意图检测任务为研究对象，探讨使用 ChatGPT 作为数据增强技术以提高组合泛化性能，通过构建数据集并整合 ChatGPT 生成的合成数据来训练模型，通过严格评估多个基准测试，发现我们的方法在开放式意图检测中表现优于现有技术，并显著提升了模型性能，从而突显出 ChatGPT 等大型语言模型在自然语言理解任务中作为数据增强方法的潜力。

Aug, 2023

本研究评估了多语言文本处理技术的热门系统 ChatGPT 在 37 种不同的语言中进行的 7 项不同任务的表现，揭示了其在不同 NLP 任务和语言方面的表现与其他模型相比较差，需要进一步的研究来发展更好的模型和了解多语言学习。

Apr, 2023

这篇论文研究了使用大型语言模型 ChatGPT-3.5 在真实人机对话中执行对话行为检测的能力，并与专门的模型进行对比。研究发现，专门的模型和 ChatGPT 都没有达到令人满意的结果，低于人类表现，但 ChatGPT 显示出了潜在的潜力，并经常超过专门的检测模型。最后，论文深入探讨了 ChatGPT 的主要缺点，并提出了增强 LLM 能力的未来研究的指导。

Sep, 2023

本文介绍了一种创新方法 DiagGPT，将大型语言模型（LLMs）扩展到任务导向对话（TOD）场景，并通过实验证明 DiagGPT 在 TOD 方面表现出色，显示出实际应用的潜力。

Aug, 2023

本文提出了一个评估 ChatGPT 等交互式 LLM 的框架，使用公开数据集进行多任务、多语言和多模态方面的评估，发现 ChatGPT 能够生成多模态内容，但是其推理能力较差，存在幻觉问题，但通过 “提示工程” 可以与人类协作，提高性能。

Feb, 2023