Nov, 2023

MARRS: 多模态参考解析系统

PDF
TL;DR通过介绍 MARRS（多模态引用解析系统）框架，本文提出了处理对话理解任务中的上下文问题的不同机器学习模型，其中一个用于引用解析，一个用于通过查询重写处理上下文，并描述了这些模型是如何协同工作以构建一个能够理解上下文并保护用户隐私的统一、简明轻巧的系统。
contextdialog understandingmultimodal reference resolution systemmachine learning modelsuser privacy
发现论文，激发创造
  • 多模态情境对话中的参照解析和上下文变化用于数据可视化探索

    该论文探讨在多模态对话中，为了创建新的可视化效果，如何通过引用解析来实现用户对大屏幕可视化的引用。它描述了实体引用注释和引用解析管道，并研究了传统 CRF 和深度学习 / 转换器模型（BiLSTM-CRF 和 BERT-CRF）。结果表明，深度学习方法的转移学习显著提高了性能，虽然 CRF 仍然优于它们，但表明传统方法在低资源数据方面可能具有更好的泛化能力。

    Sep, 2022

  • ReALM：基于语言建模的参考解析

    参考解析是一个重要的问题，对于理解和成功处理各种背景具有至关重要的作用。本文展示了如何利用 LLMs 创建一个极其有效的系统来解析各种类型的参考，通过将参考解析转化为一个语言建模问题，包括屏幕上的实体这类传统上不便于仅限于文本模态的形式。我们展示了在不同类型的参考上相对现有系统相似功能的巨大改进，最小的模型对于屏幕上的参考获得了超过 5％的绝对增益。我们还与 GPT-3.5 和 GPT-4 进行了基准测试，最小的模型在性能上相当于 GPT-4，而我们较大的模型则远远超过了它。

    Mar, 2024

  • MISAR：一种具备增强现实的多模态指导系统

    创新方法利用大语言模型融合视觉、听觉和语境模态，以提高增强现实系统的状态估计，为更自适应的增强现实系统迈出了一步。

    Oct, 2023

  • 对话系统中参考消解的跨语言方法

    本文关注跨语言环境下的指代消解，探讨了三种不同的方法 -- 词汇去表示，多语种嵌入和机器翻译，并在低资源和大资源设置下进行了比较，发现在低资源的情况下，多语种嵌入和通过数据增强的词汇去表示方法具有显著的提升，但随着目标语言中可用数据量的增加，其增益逐渐减少。在结合机器翻译的情况下，我们可以获得接近目标语言实时数据的性能，仅需将 25％的数据投影到目标语言中。

    Nov, 2018

  • 通过学习音频 - 文本跨模态上下文表示实现会话语音识别

    通过引入跨模态对话表示，结合预训练的语音和文本模型，扩展 Conformer 编码器 - 解码器模型，我们的方法能够提取更丰富的历史语音上下文，实现较标准 Conformer 模型相对准确度提升 8.8%（HKUST）和 23%（MagicData-RAMC）的结果。

    Oct, 2023

  • 探索用于 SIMMC 2.0 挑战中的歧义检测和共指消解的多模态表示

    本文研究了会话人工智能中的歧义检测和指代消解，使用 TOD-BERT 和 LXMERT 模型等对此进行了实现和对比，并得出了语言模型能够检测歧义且单模态指代消解模型可通过智能对象表示避免使用视觉组件等结论。

    Feb, 2022

  • 通过查询重构扩展多领域对话状态跟踪

    本研究提出一种基于序列转换模型的对话状态跟踪和指代消解方法，并使用指针生成网络模型进行查询重构， 在跨领域场景下实验验证了该方法的有效性。

    Mar, 2019

  • 利用声学情景表征通过音频文本跨模态学习用于会话 ASR

    该研究提出了一种音频 - 文本交叉模态表示提取器，通过 attention 机制，将上下文文本表示作为上下文提供给 ASR 解码器，有效地提高了智能语音识别的性能。

    Jul, 2022

  • J-CRe3：用于现实世界参考解析的日语会话数据集

    理解物理世界的表达对于实际中的人机协作系统是至关重要的，我们提出了一种多模态参考解析任务，并构建了一个日本对话数据集 (J-CRe3)，该数据集包含了在家中两个人充当主人和助手机器人之间的实际对话的主观视角视频和对话音频，通过跨模态标签将话语中的短语与视频帧中的物体边界框相连接，同时包括间接参考关系、词谓结构和桥接引用以及直接参考关系，我们还构建了一个实验模型并明确了多模态参考解析任务中的挑战。

    Mar, 2024

  • 多模对话模型处理澄清对话的能力评估

    在对话中，当引用表达不能唯一地识别出意图的指示对象时，产生了指向性模糊。此研究表明生成和回应澄清请求对于多模式、以视觉为基础的对话模型的架构和目标函数有特定的限制。通过使用 SIMMC 2.0 数据集评估不同最先进模型体系结构处理澄清交流的能力，该模型可探测它们在模型中引起的上下文更新的度量。结果发现，基于语言的模型能够编码简单的多模式语义信息和处理一些澄清交流，而多模式模型可以使用其他学习目标来获取解耦的物体表示，这对处理跨模态的复杂指向性模糊至关重要。

    Jul, 2023