ACLJun, 2024

基于多模态上下文语义解析的语音处理

PDF
TL;DR通过将多模态输入与先前的语境相结合，我们介绍了一种称为 SPICE 的任务，旨在提高人工智能代理程序的上下文意识。SPICE 不仅仅是传统语义解析，还提供了一种结构化、可解释的框架，用于根据新信息动态更新代理程序的知识，反映人类沟通的复杂性。我们开发了 VG-SPICE 数据集，旨在通过口语对话交换中的视觉场景图构建来挑战代理程序，并突出了语音和视觉数据的整合。我们还介绍了用于 VG-SPICE 的音频 - 视觉对话场景解析器 (AViD-SP)。这些创新旨在改进多模态信息处理和整合。VG-SPICE 数据集和 AViD-SP 模型均已公开提供。
发现论文，激发创造
  • SPICE：语义命题图像字幕评估

    提出了基于场景图谱的自动生成图像标题评估指标 SPICE，其捕捉人类判断模型生成标题的能力优于现有指标，并能回答哪个标题生成器更懂颜色和能否计数等问题。

    Jul, 2016

  • 多语言任务导向对话的情境语义解析

    通过机器翻译自动翻译对话数据集并使用新的上下文语义解析模型，该方法在多个数据集上提高了准确性并创建了高准确度的多语言对话数据集。

    Nov, 2021

  • 使用动态上下文图进行对话语义解析

    本文讨论了使用动态子图和图形神经网络在上下文中交互地将用户话语映射为可执行的逻辑形式，并证明这种方法在处理对话信息方面更好。

    May, 2023

  • 探索上下文、注意力和音频特征用于音频视觉场景感知对话

    本论文探讨了以话题作为对话背景，利用多模态注意力和音视频定位技术的方法来构建端到端的自然语言对话系统，结合使用 end-to-end 音频分类卷积神经网络 AclNet，以音视频场景感知任务数据集 AVSD 进行测试，并提出了改进方案算法，优于现有基线系统。

    Dec, 2019

  • 基于反应式多阶段特征融合的多模态对话建模

    本文提出了一种直观的机制，通过多个阶段融合特征和注意力以很好地集成多模式特征，以解决音频视觉场景感知对话任务，并进一步分析了各种最先进的模型在该任务上的泛化能力。

    Aug, 2019

  • 视听场景感知对话

    本论文介绍了场景感知对话任务，通过视频和音频研究场景，并在对话历史中利用上下文线索，以回答关于场景的问题；同时提出了 AVSD 数据集，并通过多项定量和定性指标评估了基础模型的表现，结果表明模型必须充分利用所有可用输入（视频、音频、问题和对话历史）才能在该数据集上取得最佳表现。

    Jan, 2019

  • 语音与图像的深度多模态语义嵌入

    本文提出了一种模型，其将图像和相关的口头描述作为输入，并找到两种模态之间的对应关系。使用一对卷积神经网络在单词级别模拟视觉对象和语音信号，并采用嵌入和对准模型将两个网络联系在一起，以学习跨两种模态的联合语义空间，最终在 Flickr8k 数据集上使用图像搜索和注释任务评估了我们的模型。

    Nov, 2015

  • 面向知识图谱的对话问答的语义解析

    本文介绍了使用自然语言处理技术的语义解析器，将用户的自然语言问题转化为有形式定义的查询语句，通过大规模知识图谱实现。作者提供了一个数据集，其中，用户问题采用 Sparql 语言解析，并对执行结果对系统回答进行注释。通过两种不同的语义解析方法，我们提出了挑战：如何处理大规模词汇，如何建模对话语境，如何处理多实体查询语句，并实现对新问题进行泛化。作者希望我们的数据集能够为开发会话式语义解析器提供有效的测试平台。本文的数据集和模型已经发布，详情请见链接。

    Jan, 2023

  • 透明互动语义解析：逐步校正

    本研究研究了一种交互式语义解析框架，它可以通过自然语言一步一步地解释预测的逻辑形式，并允许用户通过自然语言反馈进行更正，主要关注问答和知识库的关系，构建了 INSPIRED 数据集，并进行了实验，有望大大提高总体解析精度。

    Oct, 2021

  • 视觉场景的基于语义 grounded 语义构成

    本篇研究介绍了一种基于视觉语言理解模型的单词语义组合来生成复杂指代表达式的理论，介绍了其在空间指代表达式中的应用及在语义理解中对视觉语境的影响研究。

    Jun, 2011