NaturalTurn：将转录本分割为自然的对话片段的一种方法

Mar, 2024

NaturalTurn：将转录本分割为自然的对话片段的一种方法

NaturalTurn: A Method to Segment Transcripts into Naturalistic Conversational Turns

Gus Cooney, Andrew Reece

TL;DR论文介绍了一种名为 “NaturalTurn” 的对话分割算法，可将语音到文本转录本划分为对话转折点，从而更好地理解社交互动的基本构建模块。这一算法通过区分说话者的主要对话转折点和听者的次要话语，如背景话语、简短插话和其他特征对话的平行言论，来准确捕捉自然交流的动态。通过使用大量对话语料库的数据，研究者展示了通过 “NaturalTurn” 得到的转录本相较于现有方法的转录本具有更好的统计特性和推理特性。该算法代表着机器生成转录本处理方法或者所谓的 “转换模型” 的改进，将使研究人员能够将转换过程中的动态与社交互动的更广泛结果相关联，这是对话科学的一个核心目标。

Abstract

conversation is the subject of increasing interest in the social, cognitive, and computational sciences. And yet, as conversational datasets continue to increase in size and complexity, researchers lack scalable methods to segment speech-to-text →

conversation naturalturn turn segmentation transcripts social interaction

发现论文，激发创造

NaturalConv：一个面向多轮主题驱动会话的中文对话数据集

本文介绍一个主题驱动的多轮中文对话数据集 ——NaturalConv，提供了包含六个领域的 19,900 个对话和 400,000 个发言，可用于多轮对话系统研究的基准测试，同时为该数据集提供了一些基准模型的结果，并表明引入背景知识 / 主题并不能显著提高模型的性能。

Mar, 2021

自然对话语言的交替预测

本论文提出了一个基于端对端语音识别器的取向预测器，通过检测用户何时停顿思考或讲完话来联合优化 ASR 任务和取向预测任务，以更好地建模对话交互。测试集表明，该方法在识别包含四类语言障碍的会话句子时，具有 97% 以上的准确率和 100 毫秒的延迟。

Aug, 2022

MultiTurnCleanup: 多轮口语对话文本清理基准测试

本文提出一种具有创新性的 Multi-Turn Cleanup 任务，旨在解决口语对话中多个回合的断续现象对于人类可读性和下游 NLP 任务性能的影响，并采集数据集 MultiTurnCleanup1。研究设计了数据标注模式以收集高质量数据集，并采用两种建模方法作为未来研究的基准进行实验评估。

May, 2023

推进跨学科的对话科学：从大型多模态人类语音语料库中获得的洞见

本文介绍了一种跨学科的对话科学，基于一个大型的多模式语料库，通过语音，视频和转录记录了 1656 次对话，利用此实验数据，研究人员提出了新的算法并应用机器学习技术，以分析对话成功或失败的因素，并探讨对话与幸福感之间的关系。

Mar, 2022

TurnGPT：基于 Transformer 的口语对话转换预测语言模型

本文介绍了 TurnGPT 语言模型，其通过使用对话的语境和完整性，能够更好地预测口语对话中的转向。我们展示了该模型在多种书面和口头对话数据集上的表现，并证明其胜过之前工作中使用的两个基线模型。此外，我们还研究了模型的各种特性，如注意力和梯度分析，最终认为该模型不仅能够检测转向，而且能够预测完结。

Oct, 2020

端到端单通道说话者转换感知的会话语音翻译

本研究致力于解决单声道多说话者对话转写和翻译问题，提出了一种名为 Speaker-Turn Aware Conversational Speech Translation 的端到端多任务训练模型，通过在序列化标注格式中使用特殊标记来结合自动语音识别、语音翻译和说话者转换检测。在针对多说话者条件的实验中，我们使用合并了两个单声道通道的 Fisher-CALLHOME 语料库，以更真实和具有挑战性的场景来评估模型性能，实验结果表明我们的模型在多说话者条件下优于传统说话者转写系统，并且在单说话者条件下表现相当。同时，我们还提供了数据处理和模型训练的脚本。

Nov, 2023

利用对比学习进行带门限的多模态融合，以预测人机对话中的轮流发言

本研究采集了一组大规模的多模式对话语料库，并设计了一种新的门控多模式融合机制来利用各种信息进行转换预测。为了解决数据不平衡问题，我们设计了一种简单且有效的数据增强方法，通过对比学习得到更好的特征表示。实验证明，我们的模型在多个方面表现优异，比几种最先进的基准方法更为竞争力。

Apr, 2022

3M-TRANSFORMER：用于体现式交替预测的多级多轮多模态 Transformer

使用基于 Transformer 的新型多模态架构来预测具有多视角的、同步的交互数据中的轮替情况，在已引入的 EgoCom 数据集上进行实验，与现有的基线和替代基于 Transformer 的方法相比，平均性能显著提升了最高达 14.01%。

Oct, 2023

响应条件的交替预测

本文提出一种模型，该模型将对话历史和下一个讲话者想要说的内容作为条件来预测对话的结束，比基线模型在各种指标上的表现更好。该模型可作为一个增量响应排名器，在各种场景中得到应用。

May, 2023

口语化头像系统的人类相应延迟对话回合

通过分析谷歌自然问答数据库，本文展示了 GPT-4 可在超过 60％的时间内从问题末尾的遗漏词语有效填补丢失的上下文，并探讨了这种信息损失对发展中的角色模型质量的影响，同时提出了使用简单分类器来确定是否需要填充短语以满足人类对话时间限制的问题是否语义完整。

Apr, 2024