Apr, 2023

ChatGPT 的零 - shot 对话理解初步评估

PDF
TL;DR本文研究了 ChatGPT 在零 - shot 语音理解和对话状态跟踪任务中的理解能力，并发现 ChatGPT 在对话状态跟踪任务中从多轮交互提示中获益，但在语音理解任务的信息填槽中存在困难。此外，我们总结了 ChatGPT 在对话理解任务中的一些意外行为，希望为未来建立基于大语言模型的零 - shot 对话理解系统提供一些见解。
发现论文，激发创造
  • 零 - shot 对话状态跟踪的 ChatGPT：解决方案还是机会？

    我们使用 ChatGPT ，一个通用语言模型，展示了它在零 - shot DST 上达到的最先进的表现，并证明了通用模型在专业系统替代方面的能力受到其属性的限制，但我们认为通用模型的语境学习能力很可能成为支持专门的动态对话状态跟踪器开发的有力工具。

    Jun, 2023

  • 基于 LLM 的对话状态跟踪

    对 ChatGPT 在对话状态跟踪 (DST) 任务中的能力进行了初步评估，发现其表现出色。为了解决 ChatGPT 的局限性，提出了基于小型开源模型的 LLM 驱动的 DST 框架 LDST，通过领域 - 槽位指令调优方法，LDST 在零样本和少样本设置下相较于之前的 SOTA 方法取得了显著的性能提升。提供源代码以保证可复现性。

    Oct, 2023

  • ChatGPT 是否能够检测意图？评估大型语言模型在口语理解方面的表现

    该研究评估了不同尺寸的预训练语言模型（如 ChatGPT 和 OPT）在多个基准测试上对于口语语言理解（SLU）的影响。结果表明，最大的模型可在各种语言的语料库中使用零或少量注释即可接近于监督模型的意图分类准确性，但在槽填充方面表现不佳，并且对 ASR 错误敏感。

    May, 2023

  • ChatGPT 是否是通用自然语言处理任务解决方案？

    本文通过对 20 个流行的任务数据集进行评估，就 ChatGPT 的零 - shot 学习能力进行了实证分析，并发现它在推理能力较强的任务上表现良好，如算术推理，但在特定任务（如序列标记）的解决方面仍面临挑战。

    Feb, 2023

  • 通过与 ChatGPT 聊天实现零样本信息抽取

    本文探讨了零样本信息提取（Zero-shot information extraction）的挑战，通过大型语言模型和基于提示的方法构建具有强大信息提取能力的 ChatIE 框架，成功地实现了多轮问答式的信息提取任务，这为使用有限资源构建信息提取模型提供了研究思路和方法。

    Feb, 2023

  • 使用 GPT-4 的二维零样本对话状态跟踪评估方法

    我们提出了一种使用 GPT-4 的二维零样本评价方法，将对话状态跟踪 (DST) 评价分为准确性和完整性两个维度，并设计了两条手动推理路径来进一步提高评价准确性，实验结果表明我们的方法比基线方法取得了更好的性能，并且与传统的精确匹配方法一致。

    Jun, 2024

  • ChatGPT 零 - shot 文本到 SQL 能力的综合评估

    本文介绍了 ChatGPT 在 Text-to-SQL 能力上的综合分析，使用了 12 个基准数据集进行实验，结果表明 ChatGPT 在 Text-to-SQL 上有着强大的能力，在零样本情况下甚至超过了 SOTA 模型，在实际应用中具有潜在价值，并公开了生成的数据集。

    Mar, 2023

  • 针对基于模式引导的零样本对话状态跟踪进行 BERT 微调

    本文提出了一种基于预训练语言模型 BERT 微调的无监督对话状态跟踪系统 (SGP-DST)，它包括意图预测、关键词填充、槽传递预测和用户状态总结 4 个模块，是目前在第八届对话系统技术挑战赛中排名第三的解决方案。

    Feb, 2020

  • ChatGPT 是一个可能的零射依赖分析器

    ChatGPT 是一个潜在的零射语义依赖解析器，经过实验证明其具有依赖解析的能力，并且语言分析也展示了其在解析输出上的独特偏好。

    Oct, 2023

  • 聊天 GPT 在对话中的话语分析潜力：实证研究

    本研究探讨了 ChatGPT 在话语语篇分析中的能力，特别是话题分割、话语关系识别和话语分析三个任务的能力。结合创新的思维链（COT）方法，发现 ChatGPT 对于话题分割有较好的表现，但在话语关系识别和话语分析等较难的任务中有待提高。

    May, 2023