Sep, 2023

结构化径向基函数网络：多个假设预测的多样性建模

PDF
TL;DR多模态回归问题可以通过结构化径向基函数网络来解决，该网络将多个假设预测器集成在一起，通过训练期间损失函数的 Loss 值形成质心 Voronoi tessellations，从而高效地插值这些 tessellations 并逼近多个假设的目标分布，同时使用只有两层神经网络的预测器控制多样性，达到了卓越的泛化性能和计算效率。
发现论文，激发创造
  • DiverseNet：当一个正确答案不够时

    本文介绍了一种简单的方法来训练神经网络，使得每个测试查询时间内能够进行多元化的结构性预测，同时比现有方法具有更好的多样性和速度。在 2D 图像填充，3D 体积估计和流场预测等三个具有挑战性的任务中，我们的方法得到了量化的改进。

    Aug, 2020

  • 通过稀疏径向基函数神经网络解决多尺度椭圆问题

    提出了一种利用稀疏径向基函数神经网络的方法来解决具有多尺度系数的椭圆偏微分方程。该方法不仅在三维情况下具有数值收敛性并提供可靠的数值解，而且在准确性和鲁棒性方面优于大多数其他可用的机器学习方法。

    Sep, 2023

  • 高维向量自回归的低秩和结构化建模

    提出一种新颖的方法来准确估算低秩和结构稀疏高维 VAR 模型中的网络 Granger 因果交互作用，该方法采用核范数和 lasso（或 group lasso）惩罚的组合正则化框架，证明了该方法的估计误差速率的非渐近性上界，并演示了该方法在合成和真实数据上的表现优于标准稀疏 VAR 估计。

    Dec, 2018

  • 遥感应用中的非线性分布回归

    该论文介绍了一种解决分布回归问题的非线性方法，它考虑了再生核希尔伯特空间中的分布嵌入，并在其中执行标准的最小二乘回归。 该方法可用于不同维数和样本大小的多源数据，并通过随机傅里叶特征介绍了高效版本来处理数百万个数据点和组。

    Dec, 2020

  • 具有潜在噪声的多输出回归

    通过使用潜在变量模型，利用噪声信息来增强有用信号的建模，并通过引入超参数和有序无限维收缩先验来提高建模精度。

    Oct, 2014

  • 多假设丢弃：多模态输出分布参数估计

    通过使用多假设 dropout 和一种新颖的随机分胜负损失函数，本文提出了一个混合多输出函数 (MoM) 方法，该方法不仅估计均值而且估计假设的方差，并在监督学习和无监督学习问题上实验验证了其性能优越性。

    Dec, 2023

  • 一元径向基函数图层：适用于低维输入的脑启发式深度神经网络图层

    深度神经网络（DNN）已成为高维输入数据函数逼近的标准工具，但许多现实世界中的问题具有低维输入，对于这些问题，标准的多层感知器（MLPs）是默认选择。我们提出了一种称为单变量径向基函数（U-RBF）层的新颖 DNN 层，作为一种替代选择。类似于大脑中的感觉神经元，U-RBF 层使用一组神经元来处理每个单独的输入维度，其激活取决于不同的优先输入值。我们在低维函数回归和强化学习任务中验证了其与 MLPs 相比的效果。结果表明，当目标函数变得复杂且难以逼近时，U-RBF 尤其具有优势。

    Nov, 2023

  • 使用高斯径向基函数神经网络学习活动子空间并发现重要特征

    研究提出了一种新颖的修改版径向基函数神经网络模型，通过学习可变的精度矩阵，挖掘隐藏于精度矩阵的信息，展示了模型的活跃子空间、特征重要性排序等可解释性结果，并与同类模型进行比较，结果表明该模型不仅有着优异的预测性能而且表现出了可解释性的结果，可用于实际决策过程中。

    Jul, 2023

  • 学习结构高斯模型来近似深度集成

    该论文提出使用稀疏结构多元高斯来逼近概率集成模型的输出，同时通过卷积神经网络实现，该方法显式地捕获了预测的不确定性和结构相关性，并且在单个网络中可以进行空间相关采样和测试时的任意空间限制，并在单目深度估计上得到可比较的数量表现。

    Mar, 2022

  • 克服混合密度网络的限制：一种适用于多模态未来预测的采样和拟合框架

    本文介绍了一种在预测未来时考虑多模态不确定性的方法，该方法使用了赢者通吃损失和迭代分组策略，能够有效避免模式崩溃问题。同时本文讨论了多模态分布的评估方法，包括只有一个样本时的实际应用情景。

    Jun, 2019