本文介绍了一种基于门控神经网络的多模式学习新模型，称为 Gated Multimodal Unit (GMU) 模型，该模型用于在神经网络结构的内部单元中学习如何将来自不同模式的数据进行组合，并可用于电影类型分类中，通过使用剧情和电影海报的信息，模型在多标签情况下显著提高了单模式方法的性能，并优于其他的融合策略，同时提供了一个新的多模式数据集 MM-IMDb 用于电影类型分类的研究.

Feb, 2017

本研究旨在通过利用句法结构信息，提出一种新颖的结构感知生成式语言模型，对各种信息提取任务进行统一的建模与预测，并且通过引入异构结构感知器和任务导向的结构微调机制来实现更好的指导解码，从而显著提高了 12 项信息提取任务的性能。

Apr, 2023

本文提出了 IMKGA-SM 模型来解决多模态情况下，知识图谱链接预测的解释性和高准确性问题，使用多模态细粒度融合方法处理图像和文本信息，并将链接预测任务建模为离线强化学习马尔科夫决策模型，并通过交互式感知奖励预期机制和因果屏蔽机制将查询 “转换” 为推断路径，最后在两个数据集上验证实验结果显示 IMKGA-SM 相比现有的 SOTA 方法在不同大小的多模态链接预测数据集上表现更好。

Jan, 2023

提出了一种名为 Unified-QG 的模型，它基于终身学习技术，可以跨不同数据集和格式不断地学习 QG 任务，并用 STRIDER 方法来减轻连续 QG 学习中的灾难性遗忘，实验证明 Unified-QG 可以有效地适应 QG 任务，提高 QA 系统性能。

Jan, 2022

本文提出了一种以 GPT-2 模型为基础，利用目标状态追踪的生成式用户模拟器（GUS）来解决用户模拟器训练时遇到的挑战，并在 MultiWOZ2.1 数据集上通过交叉模型评估、基于语料库的评估和人类评估等方法对训练出的多个对话系统进行对比，证明了 GUS 在三个评估任务中的表现均优于基于议程的用户模拟器（ABUS）和其他削减模拟器。

Oct, 2022

提出了一种 GRU-ODE-Bayes 方法来建模真实世界的多维时间序列，该方法包括对神经普通微分方程的连续时间版本和处理不规则数据采样的贝叶斯更新网络，并证明了该方法在医疗保健和气候预测领域的应用中优于现有技术。

May, 2019

通过利用生成建模，我们提出了一个学习算法，在没有给定未知信息的情况下持续进行零样本学习，并在 AWA1、AWA2、CUB 和 SUN 数据集上实现了超出现有连续零样本学习方法的 3-7% 的最新性能。

Aug, 2023

本研究提出了基于对生成对抗网络训练的新规则的多模态循环一致性语义兼容性的方法，可以用于合成更具代表性的视觉表示，从而在几个公开可用的数据集中展现出最佳的广义零样本学习分类结果。

Aug, 2018

通过使用基于状态空间模型的 MambaUIE 方法，可以高效地合成全局和局部信息，仅具有少量参数，并提高准确性。

Apr, 2024

机器学习在医生对病人的发展趋势获得洞察力方面受到越来越多的关注。我们提出了一种名为多模态 UMLS 图神经网络学习（MMUGL）的新方法，用于使用基于统一医学语言系统的知识图上的图神经网络学习医学概念的有意义的表示。这些表示被聚合表示整个病人就诊情况，然后输入到序列模型中以在病人的多次医院就诊的粒度上进行预测。我们通过整合先前的医学知识并考虑多种模态来提高性能。我们将我们的方法与用于不同粒度上学习表示的现有架构在 MIMIC-III 数据集上进行比较，并展示出我们的方法优于这些方法。结果表明了基于先前的医学知识的多模态医学概念表示的重要性。

Jul, 2023