May, 2023

MultiTurnCleanup: 多轮口语对话文本清理基准测试

PDF
TL;DR本文提出一种具有创新性的 Multi-Turn Cleanup 任务，旨在解决口语对话中多个回合的断续现象对于人类可读性和下游 NLP 任务性能的影响，并采集数据集 MultiTurnCleanup1。研究设计了数据标注模式以收集高质量数据集，并采用两种建模方法作为未来研究的基准进行实验评估。
disfluency detection modelsspoken conversational transcriptsmulti-turn cleanup taskdatasetmodeling approaches
发现论文，激发创造
  • NaturalTurn：将转录本分割为自然的对话片段的一种方法

    论文介绍了一种名为 “NaturalTurn” 的对话分割算法，可将语音到文本转录本划分为对话转折点，从而更好地理解社交互动的基本构建模块。这一算法通过区分说话者的主要对话转折点和听者的次要话语，如背景话语、简短插话和其他特征对话的平行言论，来准确捕捉自然交流的动态。通过使用大量对话语料库的数据，研究者展示了通过 “NaturalTurn” 得到的转录本相较于现有方法的转录本具有更好的统计特性和推理特性。该算法代表着机器生成转录本处理方法或者所谓的 “转换模型” 的改进，将使研究人员能够将转换过程中的动态与社交互动的更广泛结果相关联，这是对话科学的一个核心目标。

    Mar, 2024

  • 自然对话语言的交替预测

    本论文提出了一个基于端对端语音识别器的取向预测器，通过检测用户何时停顿思考或讲完话来联合优化 ASR 任务和取向预测任务，以更好地建模对话交互。测试集表明，该方法在识别包含四类语言障碍的会话句子时，具有 97% 以上的准确率和 100 毫秒的延迟。

    Aug, 2022

  • 端到端单通道说话者转换感知的会话语音翻译

    本研究致力于解决单声道多说话者对话转写和翻译问题，提出了一种名为 Speaker-Turn Aware Conversational Speech Translation 的端到端多任务训练模型，通过在序列化标注格式中使用特殊标记来结合自动语音识别、语音翻译和说话者转换检测。在针对多说话者条件的实验中，我们使用合并了两个单声道通道的 Fisher-CALLHOME 语料库，以更真实和具有挑战性的场景来评估模型性能，实验结果表明我们的模型在多说话者条件下优于传统说话者转写系统，并且在单说话者条件下表现相当。同时，我们还提供了数据处理和模型训练的脚本。

    Nov, 2023

  • 增强型说话者感知多方多轮对话理解

    本文提出了基于掩码注意力和异构图网络的增强型说话人感知模型，以全面捕捉对话线索，实验结果展示了我们说话人感知模型在基准数据集 Molweni 上取得了最先进的表现，案例分析表明我们的模型增强了话语与说话人之间的联系，并捕捉到了说话人感知的对话关系，对话建模至关重要。

    Sep, 2021

  • MT-Bench-101：用于多轮对话评估大型语言模型的细粒度基准测试

    通过对真实的多轮对话数据的详细分析，在多轮对话方面构建了一个包含 1388 个多轮对话中 4208 个轮次的三层次能力分类系统，并评估了 21 个流行的大型语言模型在多任务评估基准 MT-Bench-101 上的能力以及对话中的性能差异。进一步的分析表明，无论是使用常见的对齐技术还是特定于聊天的设计，都没有明显改善大型语言模型的多轮对话能力。广泛的案例研究表明，我们设计的任务能够准确评估相应的多轮对话能力。

    Feb, 2024

  • SPECTRUM: 面向长对话概述的说话者增强预训练

    在本文中，我们提出了一种用于长对话摘要的说话者增强的预训练方法，该方法利用了多轮对话的内在结构。我们通过收集多样化的数据集，并进行预训练，实验证明我们的模型在具有长上下文的基准测试中取得了最先进的性能，超过了基准模型，并突出了我们方法的有效性。我们的研究结果强调了构建多样化的预训练数据集以确保与下游数据集的有效对应的重要性。

    Jan, 2024

  • 利用对比学习进行带门限的多模态融合，以预测人机对话中的轮流发言

    本研究采集了一组大规模的多模式对话语料库，并设计了一种新的门控多模式融合机制来利用各种信息进行转换预测。为了解决数据不平衡问题，我们设计了一种简单且有效的数据增强方法，通过对比学习得到更好的特征表示。实验证明，我们的模型在多个方面表现优异，比几种最先进的基准方法更为竞争力。

    Apr, 2022

  • 使用多尺度 RNN 进行多模态连续交替预测

    提出了一种多尺度 RNN 架构，用于在不同的时间尺度上模拟交谈中多个模态的特征，模拟语言和声音特征在不同的时间尺度上对于对话期间的特性建模是有益的，同时我们的方法还能够将凝视特征纳入到对话模型中。

    Aug, 2018

  • 通过将检测演讲者意图作为次要任务来改善口语对话中的转折点检测

    本文介绍了使用声学线索模型来理解对话者交替的研究，提出了一种多任务神经方法，同时预测转换转变和发言者意图，实验结果表明，使用发言者意图预测的辅助任务可以提高对话中转换转变的预测性能。

    May, 2018

  • 推进跨学科的对话科学：从大型多模态人类语音语料库中获得的洞见

    本文介绍了一种跨学科的对话科学，基于一个大型的多模式语料库，通过语音，视频和转录记录了 1656 次对话，利用此实验数据，研究人员提出了新的算法并应用机器学习技术，以分析对话成功或失败的因素，并探讨对话与幸福感之间的关系。

    Mar, 2022