Nov, 2023

LEEETs-Dial: 末端对话系统中的语言同步

PDF
TL;DR本研究通过使用共享词汇，介绍了一种实现基于 GPT-2 的端到端对话系统中对话对齐的方法，包括训练实例加权、对齐特定损失和附加调节等技术，通过在 MultiWOZ 数据集上比较不同的对齐技术，我们证明这三种方法都比基准产生出更好对齐的结果，并得到了自动化和人工评估指标的确认。
发现论文，激发创造
  • 会话系统的词汇磁化

    通过提出一个新的数据集和一种测量方法，该论文探讨了当前的回复生成模型如何不充分地解决话语对齐（Lexical Entrainment）这一重要的类人现象，并提出了两个新的任务和两种基线方法来在会话系统中明确地整合话语对齐。

    Oct, 2023

  • 深度神经网络的无监督音频和语义训练模型

    应用深度学习框架从文本特征中提取有意义的表示，研究了语义同步在人际交流和人机交互中的评估及其与声学特征之间的关联性。

    Dec, 2023

  • 基于网络的端到端可训练任务导向式对话系统

    本文介绍一种基于神经网络的端到端可训练的目标导向对话系统，以及一种新的数据收集方法，该方法基于一种新型的管道式 Wizard-of-Oz 框架。该方法可用于开发对话系统，帮助用户在餐厅搜索领域自然地交流并完成任务。

    Apr, 2016

  • E2E NLG Challenge 发现

    本文介绍了第一个共享的自然语言生成（NLG）的端到端（E2E）口语对话系统实验结果。E2E NLG 共享任务旨在评估这些新方法是否能够通过从高词汇丰富度，句法复杂度和多样化的话语现象的数据集中学习来生成更高质量的输出。

    Oct, 2018

  • 使用深度神经网络（DNN）的听觉和语义同步关系

    该研究利用 BERT 和 TRILL 向量等先进技术提取特征，测量两种不同语言对话中回合间的语义和听觉相似性，并发现人们更倾向于在语义特征上同调，此外，语义和听觉语言特征的同调程度呈正相关，该研究的发现有助于实施在人机交互中的同调机制。

    Dec, 2023

  • 使用文本接口为端到端任务导向对话系统对齐外部知识

    利用文本界面使外部知识与智能体响应对齐，提高生成的自然最终响应的质量和任务成功率。

    May, 2023

  • 多语言一对多端到端语音翻译

    本文旨在通过使用多语言方法探究转移学习在以端到端神经模型进行口语翻译中的有效性，结果表明，使用目标语言嵌入语义空间可以更有效地区分不同目标语言并改进结果，其中当对相似语言进行翻译时效果更为显著，特别是数据不足的情况下。

    Oct, 2019

  • 语言熟练度与 F0 同步：对意大利、法国和斯洛伐克母语者进行 L2 英语模仿的研究

    这项研究探讨了第二语言（L2）英语演讲模仿中 F0 演化的问题，在交替阅读任务（ART）中。结果表明，L2 英语熟练程度与演化之间存在微妙的关系：熟练程度较高的演讲者在音高变化和下降方面通常表现出较少的演化。然而，在一对一的情况下，熟练程度较高的演讲者表现出更强的模仿音高范围的能力，导致进一步的演化。这表明熟练程度在个体和对位级别上对演化产生不同的影响，突出了语言技能和韵律的复杂相互作用。

    Apr, 2024

  • 基于对比学习的多语言音频与歌词对齐

    本文介绍了一种新颖的歌词对齐系统，使用对抗学习导出跨模态嵌入，不仅训练简单、能使用弱标注数据、学习强大的文本模型，而且可用于多语言和获得了标准数据集下平均绝对误差小于 0.2 秒的最佳结果。

    Jun, 2023

  • 自发语码转换中的调整测量

    该研究探讨了在代码切换的语境中，对话者之间是否存在与在单一语言语境中相似的协调现象，并发现积极回答了这一问题，这对通用性的协调现象作为一种交流现象以及包容性和交互式语音技术的潜在应用产生重要影响。

    Nov, 2023