高维观测下的潜在子群变化预测
基于观测数据的领域自适应问题，通过线性结构因果模型和表示学习方法，研究使用不变的协变量表示来解决概念漂移和改善目标预测的可行性，并通过在 Stiefel 流形上约束优化来证明大多数局部最优解与不变的线性子空间一致。通过验证实现方法和理论的三个真实数据集。
Jun, 2024
我们研究了领域适应问题，该问题是由于未观察到的潜在变量分布改变所导致的分布偏移。我们的适应方法采用了近端因果学习，一种用于估计因果效应的技术，适用于存在未观察到的混淆变量代理的情况。我们证明了代理变量允许在不明确恢复或建模潜在变量的情况下适应分布偏移。我们考虑了两种情况：（i）概念瓶颈：观察到一个额外的 “概念” 变量，它介导了协变量和标签之间的关系；（ii）多领域：有来自多个源领域的训练数据，其中每个源领域对潜在混淆变量有不同的分布。我们在这两种情况下开发了一种两阶段核估计方法，以适应复杂的分布偏移。在我们的实验证明，我们的方法优于其他方法，尤其是那些明确恢复潜在混淆变量的方法。
Mar, 2024
本文提出了一个有潜在变量的结构化预测的统一框架，包括隐藏的条件随机场和潜在的结构支持向量机。通过对偶性描述了这种普遍公式的局部熵逼近，在图像分割和从单个图像中理解三维室内场景的任务中表现出不错的效果，比潜在结构支持向量机和隐藏条件随机场方法要好。
Jun, 2012
我们提出了一种新的非参数建模方法 LDGD，利用高斯过程（GP）将高维数据映射到潜在的低维流形，通过推断潜变量来有效捕捉数据中的不确定性，提高了模型的预测准确性和鲁棒性。LDGD 不仅能准确地推断流形，而且在预测标签方面的准确性也超过了现有的方法。我们还通过引入诱导点来降低大型数据集中高斯过程（GP）的计算复杂度，实现了批处理训练，提高了处理大规模数据集的效率和可扩展性。此外，我们证明了 LDGD 在预测有限的训练数据标签方面的较高准确性，突显了它在数据可用性受限的场景中的效率和有效性。这些特点为高维数据分析中非参数建模方法的发展奠定了基础，特别是对于高维且复杂的数据领域。
Jan, 2024
提出了一个基于表示学习和样本重加权的误差界，针对因果推断和无监督域自适应问题，在设计转换下减少泛化误差的算法框架，与以往方法相比具有更好的效果并具有渐近一致性。
Feb, 2018
通过分析常用的 ' 共平滑 ' 预测框架的局限性，并提出一种改进的少样本预测方法，我们利用隐马尔可夫模型的学生 - 教师设置展示高共平滑模型空间在其潜在表示中可以包含任意外部动态，并引入次要度量 - 共平滑的少样本版本来解决这个问题。结果表明，在几乎最优的共平滑模型中，相对于不具有此类动态的 ' 最小 ' 模型，那些具有外部动态的模型在少样本共平滑中表现较差。我们还通过两种最先进的方法：LFADS 和 STNDT，在真实神经数据上验证了我们的发现。最后，我们提供了一种测量外部动态的代理指标，并发现少样本共平滑性能与该新指标之间存在相关性。综上所述，我们提出了一种新的预测度量标准，旨在获取更准确反映实际情况的潜在变量，为潜在动态推断提供了显著的改进。
May, 2024
本篇论文研究机器学习模型在不同测试分布的情况下表现不佳且过度估计它们的表现的问题，并提出一种基于领域不变性预测模型的方法来更好地估计模型在转移学习领域的性能，从而实现了领域自适应和对给定模型在分布转移情况下进行准确的目标误差估计，并可以用于模型选择、决定早期停机和错误检测。
Jul, 2020
我们研究了一个具有非平稳标签转移的半监督分类问题，通过观察一组有标签的数据集和一系列无标签的协变量向量，我们的目标是预测每个协变量向量的相应类别标签，而无需观察除初始有标签数据集之外的真实标签。通过建立一个在任何给定测试时间内自适应地适应未知动态边缘标签概率的高概率遗憾上界，我们探索了一种基于统计方法的自适应迁移学习的替代方法，并给出了与在线学习方法相匹配的平均动态遗憾界限的界限。
May, 2024