Feb, 2024

潜在表示的多元宇宙映射

PDF
TL;DR通过多元分析解决机器学习中的可靠性和鲁棒性问题，我们提出了 PRESTO，一个有原则的框架，用于映射依赖于潜在表示的机器学习模型的多元宇宙。我们的框架使用持久同调来表征不同组合的多样化机器学习方法，(超) 参数配置和数据集所产生的潜在空间，从而使我们能够测量它们的成对 (不) 相似性并对其分布进行统计推理。我们的流程在理论上和实证上都展示了保持集合的潜在表示的良好性质，并且可以用于进行敏感性分析，检测异常嵌入或高效有效地导航超参数搜索空间。
reliabilityrobustness concernsmultiverse analysismachine-learning modelslatent representations
发现论文，激发创造
  • 预训练语言模型表示的潜空间聚类进行主题发现

    本文提出了一种基于 PLM 嵌入的联合潜在空间学习和聚类框架，通过联合建模主题 - 单词和文档 - 主题分布，有效地利用 PLMs 在主题发现方面的强大表示能力和出色语言特征，并在两个基准数据集上生成了比强劲的主题模型更加连贯、多样的主题，并提供更好的基于主题的文档表达形式。

    Feb, 2022

  • 手掌向上：在潜在空间中进行无监督预训练游戏

    本文提出了一种深度生成模型的算法，结合静态数据集和动态模型，利用无监督的强化学习探索环境，在时间信息中进行表示学习，并成功地将学习到的表示迁移到视觉和强化学习任务中。

    Oct, 2022

  • PRESTO：渐进预训练改善合成化学结果

    PRESTO 是一种新的框架，通过集成全面的预训练策略和数据集配置，逐步改进多模式 LLM，并通过跨模态对齐和多图理解来弥合分子 - 文本形态差距，从而在合成化学任务中提供了竞争性的结果。

    Jun, 2024

  • 深度 NLP 模型中潜在概念的拓展发现

    该研究比较了三种聚类算法：凝聚层次聚类、领导算法和 K-Means 聚类，发现 K-Means 具有潜力在单词和短语层面上对编码概念进行大规模发现。

    Aug, 2023

  • 关于微调自然语言处理模型中潜空间的转换

    本研究通过无监督方法分析表示空间中的潜在概念，并考察了预训练模型和微调后模型间的相似性。结论显示：较高层次的潜在空间向任务特定概念演变，而较低层次则保留了预训练模型获得的通用概念；某些概念向输出类别具有极性，并可用于生成对抗性触发器。

    Oct, 2022

  • 电子商务推荐系统的 One4all 用户表示

    本研究通过构建模型 ShopperBERT 对九个预训练任务训练得出的预训练嵌入进行广泛的下游任务如用户画像、定向和推荐等方面的有效应用，并与从零开始的学习策略进行了比较，结果表明前者的优势明显，尤其针对冷启动问题。

    May, 2021

  • 透镜机：在潜变量模型中表示视角

    本文介绍了 lensing 技术，包括机器学习模型和人类专家视角的映射关系，并应用于潜在变量模型中，捕捉和融合临床心理学家的不同视角，证明了将领域知识专家的视角纳入模型中的好处。

    Jan, 2022

  • 基础模型的持续学习：潜在重放的经验研究

    本研究探讨大规模预训练模型在下游持续学习场景中的作用，发现使用非参分类器可以在低计算开销下达到合理的 CL 性能；解释了更广泛数据预训练模型的表现，探讨了它们的表征相似性和迁移属性；展示了自监督预训练在下游领域上的有效性，和提高潜在 CL 效果的方向。

    Apr, 2022

  • 基于持久同调的连通性优化表示学习

    通过使用一种新型的基于持续同调的损失方法控制自编码器潜空间的连通性，从而进行表示学习，以实现一类学习，并通过核密度估计器对类内分布进行建模的参数选择，所获得的结果表明具有竞争性能，且只需使用一个自编码器，在较小的样本数量下，即可显著地超过其他方法。

    Jun, 2019

  • 潜变空间探索器：多模态潜变空间探索的可视分析

    通过使用多模态数据集训练的机器学习模型可以揭示单一模态数据无法访问的新见解。本文介绍了一种名为 Latent Space Explorer 的视觉分析系统，该系统提供了交互式可视化工具，使用户能够探索受试者的多模态表示，定义感兴趣的子群体，并与选定的受试者交互式地解码具有不同模态的数据，并检查嵌入在下游预测任务中的准确性。与医学专家进行了用户研究，他们的反馈为 Latent Space Explorer 如何帮助他们的分析以及在医学领域进一步发展的可能新方向提供了有用的见解。

    Dec, 2023