Oct, 2023

专家模型的可辨别性

PDF
TL;DR对于具有二元潜在变量层和在已知潜在变量条件下独立同分布的二元可观测层的 Product of Experts 模型的可辨识性进行研究，证明当潜在变量均匀分布时，模型可通过与参数数量相等的可观测量来辨识，并且在更一般的任意分布情况下，模型的可辨识性需要的可观测量与参数数量成线性关系（是最佳情况的两倍）。证明依赖于某些特殊三项递推的根部交错现象。
product of expertsneural network architectureidentifiabilitylatent variablesobservables
发现论文，激发创造
  • 基于自动化和规范化的高斯过程融合的通用专家积

    本文提出了广义专家乘积 (gPoE) 框架，用于结合多个概率模型的预测，通过分析和实验证明，Gaussian processes 一般的 gPoE 具有可伸缩性、表达力和鲁棒性，同时是现有的组合方案无法同时满足的。

    Oct, 2014

  • 在线多视图异常检测与解耦专家模型

    本文提出了一种新颖的多视角变分自编码器模型 dPoE，通过多视角学习、解耦表示学习和生成模型的思想，使用产品 - 专家层、总校正鉴别器和联合损失函数解决多视角数据中的异常检测问题，并且在控制视角通用和视角特定表示方面设计了理论信息界限，大量实验表明，所提出的 dPoE 模型优于基线模型。

    Oct, 2023

  • 使用置换不变编码器和更紧的变分界限学习多模态生成模型

    通过多模态数据，在机器学习研究中设计深度潜变量模型一直是一个长期的主题。本文考虑了一种可以严密下界数据对数似然的变分约束，同时发展了更灵活的聚合方案，通过组合不同模态的编码特征与置换不变神经网络。数值实验表明了多模态变分约束和各种聚合方案之间的权衡。我们展示了当我们想近似已鉴别模型中观察到的模态和潜变量的真实联合分布时，更紧密的变分约束和更灵活的聚合模型可能会带来益处。

    Sep, 2023

  • 一鸣惊人：强大防御策略 Nested PoE 对多后门攻击的鲁棒性

    数据污染后门攻击会对大型语言模型造成不良行为，我们提出了 Nested Product of Experts (NPoE) 防御框架，通过专业模型的混合实现对多个触发器类型的同时防御。实验结果表明，NPoE 能有效地防御各种类型的触发器。

    Apr, 2024

  • 指导学习者：基于 Token 归因相似性的专家产品去偏方法控制

    该研究探讨了使用 Product of Experts 算法和 fine-tuning 策略在自然语言推理和事实验证基准测试上改善避免数据偏差的训练模型对于分布外 (out-of-distribution) 数据的效果。

    Feb, 2023

  • 高斯过程专家的传导式对数意见池

    提出一个分析高斯过程专家群的归纳组合的框架，在测试点位置依赖的方式下，独立训练的高斯过程专家被组合起来，以便将高斯过程扩展到大数据规模。该框架为先前已被证明在实践中有效但缺乏理论基础的广义产品高斯过程专家（gPoE-GP）提供了一些理论上的支持。基于所提出的框架，引入了一种改进的 gPoE-GP 并进行了经验证实。

    Nov, 2015

  • 基于专家乘积生成式对抗网络的多模态条件图像合成

    本研究提出了一种基于 Product-of-Experts Generative Adversarial Networks（PoE-GAN）框架的条件图像合成方法，可以在多种输入模态或其任意子集上生成图片，并通过精心设计的训练方案学习了如何以高质量和多样性生成图像。实验结果表明，PoE-GAN 不仅在以多模态输入进行条件图像合成方面取得了进步，甚至在单模态条件图像合成方面也优于现有的最佳方法。

    Dec, 2021

  • 最小二乘估计在 Softmax 门限混合专家中的应用

    在本研究中，我们探究了在数据按照回归模型进行采样的确定性混合专家模型下，最小二乘估计器（LSE）的性能，并建立了称为强可辨识性的条件，以表征不同类型的专家函数的收敛行为。我们证明了广泛使用的具有激活函数 sigmoid 和 tanh 的前馈网络专家的估计速度明显快于多项式专家，后者表现出令人惊讶的缓慢估计速度。我们的研究结果对专家选择具有重要的实际意义。

    Feb, 2024

  • 带有多个观测变量的潜变量结构模型参数可识别性

    使用代数方法建立了鉴定隐藏类模型参数的一般方法，包括有限或非参数混合、隐藏马尔可夫模型和随机图混合模型，并且发现在参数化设置中，传统定义的可辨识性通常太强，在非参数设置中，受到限制的混合分布才能获得可识别性。

    Sep, 2008

  • 从快捷方式到触发器：使用去噪 PoE 进行后门防御

    该文提出了基于集成学习的 DPoE 框架，用于解决语言模型面临的各种不同类型后门攻击的防御问题，并在 SST-2 数据集上进行了验证，结果表明 DPoE 在不同类型的后门触发器下都能显著提高防御性能。

    May, 2023