ICLRFeb, 2024

主题建模的多目标对比优化

PDF
TL;DR通过引入一种新的基于主题向量集合的对比学习方法，并将其明确地作为基于梯度的多目标优化问题，本研究旨在实现一个平衡 ELBO 和对比目标之间的权衡的帕累托稳定解，广泛的实验证明我们的框架在主题连贯性、主题多样性和下游性能方面始终产生更高性能的神经主题模型。
发现论文，激发创造
  • 对比估计方法揭示线性模型中主题后验信息

    本文探讨了对比学习在文档分类中的应用。与传统方法相比，利用对比学习方法能更好的学习到文档的表征，并通过实验证明线性分类器利用这些表示能提高文档分类的准确性。

    Mar, 2020

  • 大型预训练语言模型微调的多目标优化方法：监督对比学习

    将 SCL 问题描述为 RoBERTa 语言模型精调阶段的多目标优化问题，使用线性标量化方法和精确 Pareto 最优解法解决优化问题，在多个 GLUE 基准任务上，无需使用数据增强、存储器库或生成对抗性示例，找到了比竞争对比学习基线更好的学习策略。

    Sep, 2022

  • 一个配置支配全局？使用多目标贝叶斯优化实现主题模型中的超参数传递

    本文探讨了使用多目标超参数优化方法，优化三种知名主题模型时需要考虑到主题连贯性和多样性这两种冲突的目标，并且发现选择超参数时，训练语料库的特征至关重要，表明可以在数据集间传输最优的超参数配置。

    Feb, 2022

  • 广义多模态 ELBO

    本论文提出了一种新的广义 ELBO（证据下界）公式，用于多模态数据的无监督生成模型，解决了现有方法中语义连贯性和能力之间的平衡问题，并在实验中展示了方法相对于现有技术的优势。

    May, 2021

  • 神经对话生成的分组对比学习

    本研究利用对比学习方法，在已有预训练模型为基础上，训练对话生成模型，提高其多样性和能力以应对开放领域会话问题，并提出一种适用于广泛对话生成模型的群内对比学习框架，实验结果表明该方法在性能上表现优异。

    Sep, 2020

  • 无向主题模型的高效学习

    本文提供一种新的估算方法，用于加速基于 Noise Contrastive Estimate 的学习，以处理长度和加权输入不同的文档，实验表明该方法在文档检索和分类方面具有高效率和高准确性。

    Jun, 2015

  • 基于连贯性的神经主题建模

    本文提出基于神经变分推断的方法，在主题建模的训练过程中融入主题连贯性目标，实现了主题连贯性的增强并保持了低困惑度。

    Sep, 2018

  • 面向主题感知的对比学习用于抽象式对话摘要

    通过引入一种叫做对比学习的技术来解决对话总结中信息分散和主题变化的挑战，该方法使用了两个具体的辅助任务 (coherence detection 和 sub-summary generation)，在基于原始对话总结任务上取得了最优性能，显著超过强基准模型。

    Sep, 2021

  • 通过对比集合学习面向对象的视频模型

    通过引入全局、基于集合的对比损失和基于注意力的编码器，将个体目标表示相互对比更改为聚合表示并相互对比，从而在自监督学习中更有效地推动物体中心表示的出现，并在两个合成视频数据集上得到更好的效果。

    Nov, 2020

  • 预训练语言模型微调的监督对比学习

    通过构建 SCL 算法，并将其应用到先前基于 RoBERTa-Large 模型的建议中，提出了一种新的有监督对比学习优化目标，用于自然语言理解任务的微调，在少样本学习设置下，相比于传统 CE 损失函数，该方法在多个数据集上均有显著的改进，可以更好地处理数据噪音并更好地推广至相关任务。

    Nov, 2020