本文提出了一种基于自蒸馏 (SDT) 的基于变压器模型，该模型通过利用变压器来捕捉内部和跨模式之间的相互作用，并通过设计分层门控融合策略来动态学习模式之间的权重，并将所提出模型的软标签作为额外的训练监督，从而学习更具表现力的模式表示，实验证明 SDT 在 IEMOCAP 和 MELD 数据集上优于之前的最先进基线模型。

Oct, 2023

该研究探讨了单模态临床数据分析的深度学习方法，作为多模态医学研究的重要先导。研究使用紧凑卷积转换器（CCT）、Patch Up 和创新的 CamCenterLoss 技术对临床数据处理进行了改进，并与 Guo JingYuan 的 ResNet 和 StageNet 方法进行了比较。研究结果表明，借助图像预训练的视觉转换器骨干进行迁移学习时间序列临床数据，所提出的方法在预测准确性和对重病患者的关注度上具有改进。该研究突出了 CCT、Patch Up 和创新的 CamCenterLoss 在深度学习框架中处理单模态临床数据的潜力，为未来的多模态医学研究铺平了道路，并推动了精确和个性化医疗。

Mar, 2024

AIMDiT 框架以模态增强网络和模态交互网络为基础，实现了深度特征的多模态融合，通过在公共基准数据集 MELD 上的实验证明，在 Acc-7 和 w-F1 指标上相对于现有模型取得了 2.34% 和 2.87% 的提升。

Apr, 2024

利用多模态 Transformer 模型并结合多视角视觉特征来进行图像描述，这种方法能够同时捕捉到图像内部和图像与文本之间的关系，相较于业内先前方法显著提升了效果，是图像描述任务的最新成果。

May, 2019

该研究提出了一种基于序列到序列学习的多标签文本分类模型，其使用了多级膨胀卷积和相应的混合注意机制来生成更高级的语义单元表示，并且有效地减少了维度和支持了接收域的指数级扩展。实验结果表明，该模型在数据集 RCV1-V2 和 Ren-CECps 上具有显著优势，并且分析表明该模型与确定性分层模型相当，同时更具有对低频标签进行分类的鲁棒性。

Aug, 2018

多模 ERC 在驱动人机交互发展方面扮演了重要角色，但面临多模态信息融合中的噪声问题以及类别语义相似但样本标签较少的预测问题。为应对这些问题，本研究采用了深度情感线索提取、特征过滤器设计、多模态提示转换器和混合对比学习等策略，实现了更好的多模态融合表现和对少样本标签的处理能力。实验结果证明，所提出的模型在两个基准数据集上优于现有模型。

Oct, 2023

本文探讨了基于 CEMO 数据集的语音和文本预训练模型在情感识别上的融合策略，研究表明基于多模态融合的交叉关注机制实现了更好的表现。同时，实验也表明在 CEMO 上，音频编码包含的情感信息比文本更为丰富。

Jun, 2023

通过离散 - 连续变换匹配框架中的迭代标签优化和连续正则化，提出了一种基于卷积神经网络描述符的密集仿射变换场推测方法，能够高效地从仿射变换的连续空间中得到解决方案。实验结果表明，该模型在各种基准测试中优于现有的密集语义对应方法。

Jul, 2017

本论文介绍了一种名为 “Conversational Tables” 的方法，综合使用了文本和非文本信息，利用 Transformer 编码器 - 解码器来检索表格信息，并生成基于所检索到信息的对话响应，实验结果表明在 HyrbiDialogue 数据集上取得了相对 5％左右的 Top-1 和 Top-3 准确度提高，并在响应生成上取得了 46％左右的 ROUGE 分数相对提高和更好的人类评估结果。

Mar, 2023

我们提出了一种基于隐藏变量分离的动态因果解缠模型，通过分解对话内容并研究情绪的时间性积累，从而实现更精确的情绪识别。我们在两个常用的对话情绪检测数据集上验证了该模型的优越性。

Sep, 2023