Apr, 2023

通过数据增广提升基于连续时间动态图网络的长期预测性能

PDF
TL;DR该研究提出了一种基于数据增强的 plug-and-play 模块 UmmU，采用不确定性估计和遮盖式 Mixup 技术来增加嵌入层的不确定性，进一步增强嵌入层的泛化能力，结果表明 UmmU 可以有效提高连续时间动态图网络的长期预测性能。
long-term forecastingcontinuous-time dynamic graph networksdata augmentationuncertainty estimationmasked mixup
发现论文，激发创造
  • 神经网络中使用数据增强的后验不确定性量化

    本文通过预测框架方法来解决深度学习中的不确定性量化问题，提出了一种更为真实的预测分布构建方法 MixupMP，在各种图像分类数据集上相对于现有的贝叶斯和非贝叶斯方法，MixupMP 实现了更优越的预测性能和不确定性量化。

    Mar, 2024

  • SIG: 高效可自解释的连续时间动态图神经网络

    针对连续时间动态图（CTDGs）上的预测困难，本文研究了自解释的动态图神经网络（GNNs）。我们旨在在动态图中预测未来的链接并同时提供因果解释。通过提出独立和混淆因果模型（ICCM）并将其整合到同时考虑效果和效率的深度学习结构中，我们解决了捕捉基础结构和时间信息的不一致性和分布外数据的挑战，以及高质量链接预测结果和解释的高效生成。大量实验证明，我们的模型在链接预测准确性、解释质量和对快捷特征的鲁棒性上明显优于现有方法。我们的代码和数据集已匿名发布在此 URL。

    May, 2024

  • 深度学习图像分类中的数据与类别相关不确定性估计的测试时间混合增强方法

    本文提出了一种通过测试时混合数据增强方法（TTMA）来进行深度学习图像分类不确定性估计的方法。基于混合增强方法，我们引入了 TTMA 数据不确定性（TTMA-DU）和 TTMA 类别相关不确定性（TTMA-CDU），分别可以提供更加准确的不确定性估计和深入的数据分析，通过在 ISIC-18 和 CIFAR-100 数据集上的实验验证了所提出方法的有效性。

    Dec, 2022

  • 用于图神经网络的准确可扩展的认知不确定性估计

    我们提出了 G-DeltaUQ，这是一个新的训练框架，旨在改进图神经网络的内在不确定性估计，通过独特的图锚定策略适应图数据，从而在节点和图分类中实现更好的标定准确度。

    Jan, 2024

  • 准确且可扩展的图神经网络的确知性不确定性估计

    安全部署图神经网络 (GNNs) 在分布偏移下需要模型提供准确的置信指标 (CI)。然而，尽管众所周知在计算机视觉领域 CI 质量随着分布偏移而降低，但 GNN 领域对此行为的研究仍然不足。因此，我们从在受控的结构和特征分布偏移下进行的 CI 校准案例研究开始，并证明了增强表达能力或模型规模并不总是导致 CI 性能的提高。因此，我们主张使用认识不确定性量化 (UQ) 方法来调节 CI。为此，我们提出了 G-$\Delta$UQ，这是一种新的单模型 UQ 方法，它将最近提出的随机居中框架扩展到支持结构化数据和部分随机性。在协变量、概念和图大小转移方面进行评估，G-$\Delta$UQ 不仅在获取校准 CI 方面优于几种受欢迎的 UQ 方法，而且在使用 CI 进行广义泛化预测或 OOD 检测时也优于其他方法。总的来说，我们的工作不仅引入了一种新的灵活的 GNN UQ 方法，还对安全关键任务中的 GNN CI 提供了新的见解。

    Sep, 2023

  • 基于神经网络的语音增强中融入不确定性

    该研究通过在神经网络的语音信号增强过程中，将 aleatoric 和 epistemic 不确定性模型化，提出了一种模型不确定性建模的框架，并在不同数据集上验证了该方法的有效性。

    May, 2023

  • 掩蔽 Gamma-SSL：通过掩蔽图像建模学习不确定性估计

    该研究提出了一种语义分割网络，能够在单次前向传递中生成高质量的不确定性估计。通过基于掩膜图像建模（MIM）方法，我们利用基础模型和无标签数据的通用表示来解决增强超参数问题，使得方法更简洁。为了解决在安全关键应用中因训练数据中的偏差而导致的错误问题，我们在多个测试领域上对该方法进行了测试，并且在包括城市、乡村和越野驾驶领域的 SAX 分割基准数据集上，该方法始终优于不确定性估计和超出分布技术。

    Feb, 2024

  • 基于数据制图的预训练语言模型 MixUp 技术

    本文提出 TDMixUp 方法，利用训练动态，基于易于学习或模糊样本测量置信度、可变性、AUM 特征，让更具备信息量的样本相互插值，生成新样本，实验证明该方法不仅在较小的训练数据子集上取得竞争性能，而且在广泛的自然语言处理任务中，使用预训练语言模型 BERT 取得较低的期望校准误差。我们公开发布了我们的代码。

    May, 2022

  • 动态多图注意力实现长期时空预测

    本文研究多图神经网络在长期时空预测中的应用，提出了一种新的动态多图融合模块来描述不同图之间的节点相关性，并引入可训练权重张量来指示不同图中每个节点的重要性。实验证明，我们的方法在长期时空预测任务中显著提高了现有图神经网络模型的性能。

    Apr, 2022

  • 卷积 - Transformer 混合概率先验展开框架及其在视频快照压缩成像中的不确定性估计

    本文提出了一种基于 DUN 框架下的 3D 卷积 - Transformer 混合（CTM）模块，该模块利用 Transformer 的 3D 有效可扩展关注模型充分学习时间和空间维度之间的相关性，并引入方差估计来表征重建过程中的高频信息，实验结果表明该模型在视频 SCI 重建方面取得了最好的表现（比此前的 SOTA 算法 PSNR 提高了 1.2dB）。

    Jun, 2023