Aug, 2023

ZRIGF: 零资源图像引导对话生成的创新多模态框架

PDF
TL;DRZRIGF 是一种创新的多模态框架，用于零资源情境下基于图像的对话生成，包括对抗性预训练和生成性预训练两个阶段，通过映射和融合图像和文本，生成上下文相关和有信息量的回应。
image-grounded dialogue systemsvisual information integrationzero-resource scenariosmultimodal frameworkresponse generation
发现论文，激发创造
  • 基于图像的对话：自然问题和回答生成的多模态上下文

    该研究提出了一种新颖的任务 —— 基于图片的对话（IGC），通过图片来约束话题从而产生更高质量的对话，并引入了一个通过众包来构建的多目标参考数据集。实验结果表明，将视觉和文本相结合可以提高对话的质量，而对人的表现与神经和检索结构之间的差距表明多模态 IGC 是一个有趣的对话研究挑战。

    Jan, 2017

  • 一种低资源知识引导对话生成的三阶段学习框架

    本文提出了基于弱监督学习的三阶段学习框架和一种变体 Transformer 来构建知识驱动的对话系统。评估结果表明该方法在少量训练数据甚至零资源的情况下仍然表现出色。

    Sep, 2021

  • MulZDG: 零样例对话生成的多语言混合框架

    本文提出了一种名为 MulZDG 的多语言学习框架，它利用从英语语料库中抽取的翻译话语来构建多语言代码转换对话数据集，并通过 MulZDG 来训练一个统一的多语言对话模型，可以实现不同语言之间的隐式语义对齐，对零样本对话生成和资源丰富的语言表现出竞争性的性能和显著的性能提升。

    Aug, 2022

  • ZR-2021VG：零资源语音挑战，基于视觉支持的语言建模赛道，2021 年版

    本文介绍了在 2021 年第二届无资源语音挑战赛中引入的视觉对齐语言建模轨迹​​，讨论了参与规则，包括我们针对此轨迹​​开发的两个基准系统。

    Jul, 2021

  • 低资源语言中以文本为基础的对话系统的跨语言数据增强

    本论文提出了一种新框架，利用高资源语言来增强低资源语言的对话生成能力，并通过跨语言增强模型（CLEM）来解决 DGDS 中数据稀缺的问题，包括对抗训练检索，翻译训练和融合生成技术。该方法在 DialDoc 2023 竞赛中获得第四名，表明该模型在跨语言对齐任务中具有很好的效果。

    May, 2023

  • 多模态增量变压器结合视觉定位生成视觉对话

    该研究提出了一种多模态增量变形器（MITVG）的视觉指向方法，该方法可以显式地定位与文本实体相关的图像对象，从而帮助模型排除不需要关注的视觉内容，进而在多轮对话历史记录和视觉场景的基础上生成一致且连贯的响应。该模型在 VisDial v0.9 和 v1.0 数据集上实验结果证明了其优越性能。

    Sep, 2021

  • iRAG：一种用于视频的增量检索增强生成系统

    通过增量流程的方式，iRAG 提供对大规模、真实世界的多模态数据的高效交互式查询，比传统的 RAG 系统更快地将视频转换为文本，并确保与传统 RAG 相比，响应交互用户查询的质量相当。

    Apr, 2024

  • TIFG：大型语言模型中的基于文本的特征生成

    通过利用文本信息进行特征生成，本论文介绍了一种基于语言模型的新型文本信息特征生成框架，通过使用检索增强生成（RAG）技术检索可能相关的特征并生成新的可解释特征，丰富特征空间并进一步挖掘特征关系。实验证明，该方法能够生成高质量且有意义的特征，并且明显优于现有方法。

    Jun, 2024

  • 具有隐变量图像的开放域对话生成

    本文提出使用图像来增强样本数量的方法，以学习针对含有图像信息的对话的应答生成模型，并利用条件变分自编码框架下的响应生成器和图像重构器来刻画图像和文本信息之间的关系。实验表明，该方法在低资源情况下可以有效增加图像驱动类对话的训练样本，同时保持应答内容与上下文的相关性。

    Apr, 2020

  • 多模态生成：将语言模型与图像相结合

    该研究提出了一种有效的方法，将预训练的纯文本语言模型转移到视觉领域，使其能够处理和生成任意交错的图像和文本数据，并在上下文图像检索和多模态对话等方面实现了强有力的效果。

    Jan, 2023