Feb, 2022

一个配置支配全局？使用多目标贝叶斯优化实现主题模型中的超参数传递

PDF
TL;DR本文探讨了使用多目标超参数优化方法，优化三种知名主题模型时需要考虑到主题连贯性和多样性这两种冲突的目标，并且发现选择超参数时，训练语料库的特征至关重要，表明可以在数据集间传输最优的超参数配置。
topic modelshyperparameter optimizationdocument representationcoherencediversity
发现论文，激发创造
  • 主题建模的多目标对比优化

    通过引入一种新的基于主题向量集合的对比学习方法，并将其明确地作为基于梯度的多目标优化问题，本研究旨在实现一个平衡 ELBO 和对比目标之间的权衡的帕累托稳定解，广泛的实验证明我们的框架在主题连贯性、主题多样性和下游性能方面始终产生更高性能的神经主题模型。

    Feb, 2024

  • 基于轨迹的多目标模型重训练超参数优化

    本研究提出了一种基于轨迹的多目标贝叶斯优化算法，通过考虑训练轮次作为附加决策变量，充分利用迭代学习过程中的轨迹信息来提升多目标超参数优化问题的性能。实验证明，该算法在寻找更好的权衡和提高调优效率方面优于现有的多目标优化器。

    May, 2024

  • 贝叶斯优化的实用迁移学习

    本研究开发一种新的无超参数的集成模型来实现机器学习中的贝叶斯优化，并证明了与传统方法相比，该模型可以有效降低超参数优化时间并实现迁移学习。

    Feb, 2018

  • 并行多目标超参数优化的均匀归一化与有界目标

    机器学习模型的超参数优化是一个具有多目标的挑战性问题，本研究提出了一种多目标贝叶斯优化算法，通过统一目标规范化和随机化权重在标量化中解决了不同目标尺度的问题，并通过限制目标来提高算法效率，最后通过并行化加速了优化过程。

    Sep, 2023

  • 基于连贯性的神经主题建模

    本文提出基于神经变分推断的方法，在主题建模的训练过程中融入主题连贯性目标，实现了主题连贯性的增强并保持了低困惑度。

    Sep, 2018

  • 学习 Warm-Start 贝叶斯超参数优化

    本文提出了深度度量学习用于探寻相似的数据集来作为输入神经网络的初始超参数，并通过 Bayesian 优化方法减少了超参数搜索的时间和计算量。

    Oct, 2017

  • 主题建模的估计和选择

    通过非标准的参数化最大后验概率估计，基于块对角矩阵逼近提出了一种基于似然函数的模型选择方法，同时辅以残差离散度估计来度量模型的拟合程度，并提供了实例来说明模型选择和与标准技术的比较。

    Sep, 2011

  • 基于多目标的深度学习参数优化调查

    本研究探讨了多目标优化策略与深度神经网络结合的有效性，通过案例研究证明了该方法在多种应用程序中生成预测和分析方面具有价值。

    May, 2023

  • 用主题嵌入混合表示单词嵌入混合

    本文提出了一种新的主题建模框架，在该框架中，每个文档都被视为一组单词嵌入向量，每个主题都被建模为嵌入空间中的嵌入向量，并在相同的向量空间中嵌入单词和主题，定义一种方法来衡量文档单词的嵌入向量与主题嵌入向量之间的语义差异，并优化主题嵌入以最小化所有文档的期望差异。实验结果表明，所提出的方法在发现更连贯和多样化的主题以及提取更好的文档表示方面具有竞争性的性能。

    Mar, 2022

  • 贝叶斯优化的迁移学习：综述

    该研究论文介绍基于贝叶斯优化的迁移学习方法，从初始点设计、搜索空间设计、代理模型和获取函数等四个方面总结其方法论和技术细节。同时，论文彰显了该方法在广泛应用中的优点，并提出了未来的研究方向。

    Feb, 2023