利用 Jensen-Shannon 散度的多模式生成学习
本论文提出了一种新的广义 ELBO(证据下界)公式,用于多模态数据的无监督生成模型,解决了现有方法中语义连贯性和能力之间的平衡问题,并在实验中展示了方法相对于现有技术的优势。
May, 2021
通过样本分布和经验代理之间的平滑 JSD 差异,提出了一种新的训练目标,基于核的 GAN,旨在克服 GAN 的训练困难,提高其实际效果。
May, 2017
使用 Jensen-Shannon 抖动作为噪声容忍的损失函数, 将它与 CE 和 MAE 混合使用以改善可学习性,并区分噪声数据点周围的一致性。 通过用此方法在 CIFAR 和 WebVision 等数据集上进行试验表明能取得卓越的效果。
May, 2021
该文介绍了一种基于多模态数据边缘似然的分层变分自编码器的族群。文章使用 VAEGAN 及基于流的模型构建了模型。实验结果表明,对于图像、标签和文本数据,这些模型在很多领域中达到了最优结果,并且使用 GAN 图像模型和 VAE 语言模型可以得到更好的表现。最后,在配合口语的任务中,该文章发现用于学习图像表达的表示比只使用视觉数据中学习的等效表示更抽象、更组合。
Dec, 2019
本文介绍了一种基于多模态表示学习的学生 - 教师框架,并采用了对比学习和对抗学习等方法来优化相互信息和条件熵,以提高视频识别、检索和情感分类等多模态任务的性能。
Jun, 2023
本文介绍了一种基于深度生成模型的多模态交换方法,提出了条件独立的联合表示的概念,实现了对不同模态之间的高级概念进行双向交换,并通过对比实验表明该模型的有效性。
Nov, 2016
本论文提出了一种基于再生核希尔伯特空间中协方差符算子的新型分歧表示 Jensen-Shannon Divergence 的估计方法,该方法嵌入了数据分布到 RKSH,并利用其表示的符算子谱,该估计器对于小批量优化问题是灵活、可扩展且可微的,可以应用于二样本测试和生成对抗网络训练领域,并表现出优于现有技术的性能。
May, 2023
本文介绍了一种基于信息理论的上限,以测量源和目标数据分布之间的差异,并将模型对每一个数据集样本的敏感性考虑在内。同时,对于加权风险最小化问题,提出了一种新的平均传输超额风险的上限。
Oct, 2020
采用 CLIP 特征的负高斯交叉互信息度量被提出,用于评估 text-to-image generation 和 image captioning 任务的机器智能水平,与竞争指标相比具有一致性、样本简约性和鲁棒性,并在多模态表示学习中得到了广泛的应用。
May, 2022