基于知识的生成模型正则化

IJCAIFeb, 2019

Knowledge-Based Regularization in Generative Modeling

Naoya Takeishi, Yoshinobu Kawahara

TL;DR本文提出一种利用先前领域知识改进通用生成模型性能的方法，通过引入正则化项，让生成模型的边缘分布遵循预设的特征依赖关系，可嵌入多种生成模型（例如变分自编码器、生成对抗网络）的基于反向传播的学习过程中

Abstract

Prior domain knowledge can greatly help to learn generative models. However, it is often too costly to hard-code prior knowledge as a specific model architecture, so we often have to use general-purpose models. I

generative models prior knowledge feature relations regularizer backpropagation

发现论文，激发创造

可学习知识限制的深度生成模型

本论文利用强化学习的框架基于后验规则化方法，扩展了对任何深度生成模型的灵活应用，以便建立学习约束为外在奖励的约束及其开发过程。通过该算法的应用，模型的学习知识约束能够得到显著提高。

Jun, 2018

因果启发式正则化实现域通用表示

在给定描述不同领域 / 分布共享的数据生成过程的因果图的基础上，通过强制执行足够的图推断条件独立性可以确定领域通用（非虚假的）特征表示。针对标准的输入 - 输出预测设置，我们将文献中考虑的图集合分类为两个不同的组：（i）那些在训练领域中的经验风险最小化器给出领域通用表示和（ii）那些不给出的情况。对于后一种情况（ii），我们提出了一个新的具有正则化的框架，该框架在没有关于虚假特征的先验知识（或代理）的情况下证明了足够用于确定领域通用特征表示。在实证方面，我们的提出的方法在（半）合成和真实数据方面表现出色，优于其他最先进的方法的平均和最差领域转移准确性。

Apr, 2024

利用后验正则化进行神经机器翻译的先验知识整合

本文提出使用后验正则化方法将多种重叠、任意先验知识源集成进神经机器翻译的通用框架中，通过将先验知识源表示为特征方式指导神经机器翻译模型的学习过程，实验结果证明此方法显著提高了中英文翻译效果。

Nov, 2018

运用物理先验信息的深度学习作为广义正则化器

将近似模型作为物理先验加入模型以防止过拟合和增强训练模型的泛化能力。

Dec, 2023

生成模型的判别性正则化

本文探讨了分类器是否可以用于提高生成模型的质量，并提出了一种使用判别分类器的表示来增强生成模型的目标函数的方法。研究表明，用这种方法增强目标函数可以产生比标准变分自编码器更清晰、视觉质量更高的样本。

Feb, 2016

StyleGAN 诱导的数据驱动正则化用于反问题

通过使用预训练的 StyleGAN2 生成器构建先验分布，将学习的贝叶斯重建与生成模型相结合，实现了对图像修复和超分辨率重建问题的解决，与现有 GAN 图像重建方法相比表现更好。

Oct, 2021

具备领域知识先验的贝叶斯神经网络

通过变分推理，提出了一种将通用形式的领域知识（通过损失函数表示）整合到贝叶斯神经网络先验中的框架，使得后验推断和抽样具有高效性，以提升预测性能。

Feb, 2024

用于三维形态建模与重建的深度优化先验

该研究提出了一种新的 3D 建模和重建学习框架，通过连接基于学习和基于优化的方法的优点并优化学习的先验和潜在编码，提高了深度生成器的广义性。实验结果显示，该方法在处理高度稀疏或坍塌的观测数据方面比现有方法都有优势。

Dec, 2020

通过正则化稳定生成对抗网络的训练

通过提出一种新的正则化方法，我们克服了 GAN 模型分布和数据分布之间维度不匹配的局限性，并证明了该正则化方法在多种常见图像生成任务中的有效性。

May, 2017

从生成模型学习分层特征

本文证明已有的变分方法无法很好地训练分层潜变量模型，并且提出了一种不依赖先前知识、能够在多个自然图像数据集上学习高度可解释和分解分层特征的替代架构。

Feb, 2017