本研究旨在自动检索实际呼叫中心对话中的满意度和挫折情绪，并侧重于持续追踪客户满意度以改善客户服务的工业应用。使用预训练的语音表示作为迁移学习形式，对 AlloSat 语料库进行了探索。实验结果确认了使用预训练特征可获得的性能大幅提升，并发现语言内容在满意度预测中起着明显的主导作用，并且对未知数据的泛化能力更强。此外，融合声学和语言模态的优势并不明显。该研究还探讨了性能变异性的问题，并试图从不同的视角估计此变异性：权重初始化、置信区间和注释主观性。对语言内容进行了深入分析，研究了能够解释语言模态在此任务中高贡献的可解释因素。

Oct, 2023

我们提出了一种新颖的级联跨模态变换器（CCMT），结合语音和文本转录以检测电话对话中的客户要求和投诉。我们的方法利用多模态范例，通过使用自动语音识别（ASR）模型转录语音并将转录成不同语言。随后，我们将语言特定的基于 BERT 的模型与 Wav2Vec2.0 音频特征结合使用在一个新颖的级联交叉注意力变换器模型中。我们将我们的系统应用到 ACM Multimedia 2023 计算言语学挑战赛的请求子挑战中，分别对于投诉和请求类别达到了 65.41％和 85.87％的非加权平均召回率（UAR）。

Jul, 2023

该论文描述了一个新的电话中心情境下的日语语音语料库 CALLS，用作同情对话语音合成的训练集。同时，它还分析了 CALLS 和现有的 STUDIES 语料库之间的差异，并探究了训练合成语音时这些差异的影响。

May, 2023

本研究旨在探索使用最新预训练的神经语言模型与语言信息的组合来自动识别社交媒体投诉。我们评估了一系列以 transformer 网络为基础的神经网络模型，结果表明我们的模型在公开数据集上表现出色，F1 宏平均值高达 87。

Oct, 2020

本研究介绍了一个新的大规模韩语呼叫语音语料库并证实其有效性。该语料库是在餐厅预订领域下针对目标导向的对话情境带来的，包括近 11,000 人的超过 60,000 个短语和其相应的语音表达。同时，该研究通过两个标准 ASR 模型对 ClovaCall 数据集进行了密集实验，并通过网络公开了相关数据集和基准源代码。

Apr, 2020

本文描述了一个使用 Kaldi 框架的语音文本处理方法，在不同的语义标记方法中选择组合机器学习模型，并使用决策树进行标记的实验。结果表明，该方法提供了更好的性能和更可解释的模型，对数据准备的复杂性做出了改进，能够对联系中心的运营产生潜在影响。

Mar, 2022

本文提出了一个欧盟议会 LIBE 委员会的书面语料库，总计 3.6 百万字。在实验过程中，我们使用基于 transformer 的 Wav2vec2.0 模型作为自动语音识别（ASR）流程的基础，并尝试了多个音频模型，语言模型和特定领域术语的添加来适应领域。结果表明，特定领域的音频模型和语言模型显着提高了 ASR 输出的质量，将错误率从 28.22 降至 17.95，并对下游分析任务有用。

Apr, 2023

研究使用命名实体识别技术处理新型用户生成的文本：客户服务会话记录，使用自身语料库，训练上下文字符串嵌入，应用 BiLSTM-CRF 算法，取得了该任务的最新最优结果。

Oct, 2020

该研究开发了两种新型深度学习模型，基于医疗文本数据集，旨在从临床会话中提取症状信息，针对模型性能进行全面评估，为医疗提供辅助应用方向。

Jun, 2019

本文研究音频和文本的预训练提取特征方法，使用 wav2vec 和 camemBERT 模型进行连续情感识别任务，同时采用 SEWA 数据集，证明 wav2vec 和 BERT 预训练特征的联合使用在处理连续 SER 任务中表现非常合适。通过实验证明，新方法的 CCC 值达到 0.825，而传统的 MFCC 和 word2vec 仅为 0.592。

Nov, 2020