Jun, 2024

针对口语对话理解数据的低成本 LLM 注释研究

PDF
TL;DR自动增强口语对话语料库中的语义表示的研究，评估了大型语言模型微调的相关性、生成注释所捕捉的知识，以及半自动注释的影响。
task-oriented dialoguesemantic representationspoken dialogue datasetslarge language model fine-tuningsemi-automatic annotation implications
发现论文，激发创造
  • 客户支持对话的对话质量和情绪标记

    本文提出了一种用于情感识别和对话质量评估的整体注释方法，为发展文本分类模型提供了一个独特而有价值的资源，并且显示出需要进一步研究以在实际应用中利用这些模型。

    Nov, 2023

  • 面向任务建模的对话状态跟踪的半监督引导

    本文研究了利用半监督学习方法在构建神经对话系统时可以减少中间标签的数量，发现可以利用未注释数据来显著减少对话状态的转换级别注释，同时在 MultiWOZ 语料库上进行了分析并提出了第一个端到端的对话模型。

    Nov, 2019

  • TOD-DA: 从口语会话中提高任务导向对话建模的鲁棒性

    本文提出了一种新的任务定向对话数据增强方法 TOD-DA，它包括对话丰富和口语会话模拟器，可以增加大规模高质量带注释口语会话，以提高口语任务定向对话建模的鲁棒性。在 DSTC10 Track2 的两项任务中，我们的方法均排名第一，证明了 TOD-DA 的优越性和有效性。

    Dec, 2021

  • LLM 在口语对话中的稳健性研究

    使用 LLM（Large Pre-Trained Language Models）评估了在口语任务导向对话中的性能，结果表明 LLMs 默认情况下对口头噪音不够鲁棒，但在正确的口头 TOD 数据集上进行微调 / 训练可以获得更强的性能。

    Jan, 2024

  • 面向任务导向对话的通用对话行为标注

    本文提出了一种适用于任务导向对话系统的通用 DA 模式，并使用人类 - 人类对话语料库进行标记和建模，通过半监督学习技术，以提高标记效率和标记质量。

    Jul, 2019

  • 半监督学习与粗细意图检测探索客户服务对话系统

    本研究基于师生范式构建了一个弱监督数据集，整合粗细分类策略实现用户意图检测，实验表明，基于此方法的模块化对话系统能够以更高的成功率实现任务目标并生成更连贯的响应。

    Dec, 2022

  • 面向任务导向对话系统的半监督知识驱动预训练

    本文介绍了我们的 Track 2 模型，利用大规模真实世界的 MobileCS 中国 TOD 数据集，使用半监督学习和强化学习构建知识引导的对话模型，实现了任务导向对话系统的高效预测和人机交互。我们的系统在自动评估和人工交互中表现都极佳，尤其是 BLEU (+7.64) 和 Success (+13.6%) 方面比第二名更优秀。

    Oct, 2022

  • 利用大型语言模型为主题元数据添加注释：澳大利亚国家研究数据目录的案例研究

    本文介绍了一种基于大型语言模型的上下文学习方法，通过 GPT-3.5 和为主题元数据注释设计的提示，实现了自动元数据注释，在一些类别中表现出有前景的性能。

    Oct, 2023

  • 嘈杂信道的力量：无监督端到端任务导向对话的 LLMs

    通过使用未标注的数据和模式定义，我们开发了一种新方法来构建一个完全无监督的面向任务的对话系统，该系统可以在迭代中通过期望最大化方法逐渐改进伪标签，并利用这些标签来训练一个端到端的对话代理，其在 MultiWOZ 基准测试上的成功率超过了强大的 GPT-3.5 基准的两倍。

    Apr, 2024

  • 基于大纲生成的跨语言对话数据集构建

    本篇论文提出了一种基于大纲的多语言任务导向型对话数据集标注方法，使得多语言对话系统的数据集不再受到规模限制和翻译自然性以及文化特异性等方面的问题，设计出一组新的大规模数据集，其中的 Cross-lingual Outline-based Dialogue 数据集允许进行自然语言理解、对话状态跟踪和端到端对话建模和评估，并通过多种语言以及基于最先进技术的交叉语言对话系统对数据集进行了定量和定性分析，同时设定了参考分数以指导后续工作。

    Jan, 2022