Mar, 2024

清晰时刻：借助矩池化简化机器学习的潜在空间

PDF
TL;DR许多机器学习应用涉及到学习数据的潜在表示，本研究提出了 “Moment Pooling” 方法，通过扩展 Deep Sets 网络中的求和操作为任意多元矩操作，显著降低了这些网络的潜在空间维度，同时保持甚至提高了性能，在胶子物理任务中证明了 Moment Pooling 的有效性，并且能够将内部表示直接可视化和解释。
发现论文，激发创造
  • MoNet: 基于矩特征的嵌入式神经网络

    该文章提出了一种用于视觉任务的 MoNet 结构，它使用了二阶池化的双线性池化方法并通过子矩阵平方根层来解决维度问题，结合矩阵规范化和其他阶信息，实验结果表明，MoNet 在三个公开的图像分类数据集上表现良好，可实现与具有比其 96% 更少维度的编码特征相当的性能。

    Feb, 2018

  • 能量流网络：粒子喷注的深度集合

    此篇文章介绍了如何利用机器学习技术处理粒子物理中的碰撞事件数据，并提出了一种基于深度集合（Deep Sets）框架的粒子流网络（Energy Flow Networks）和粒子流网络（Particle Flow Networks）方法，这些方法能有效地处理碰撞事件数据，对于区分夸克喷流和胶子喷流等任务性能表现出与现有方法相似或更好的结果，并提供了可视化方式解释模型内部的工作。

    Oct, 2018

  • 使用学习的矩方法学习隐式生成模型

    本论文提出了一种 Moment Estimation 的算法来训练规模大的 Implicit Generative Models，即 Method of Learned Moments (MoLM)。通过引入 Moment Network，以及使用渐近理论来确定 Moment Estimation 中需要优化的关键性质，MoLM 可以训练出高质量的神经图像生成模型。

    Jun, 2018

  • 关于特征标准化和数据增强

    本文提出了 Moment Exchange 方法，它是一种隐式数据增强方法，通过替换学习特征的矩和插值目标标签，强制模型从矩中提取训练信号来利用矩的信息，从而在多个识别基准数据集上提高高度竞争性基线网络的泛化能力。

    Feb, 2020

  • 潜空间物理学：迈向学习流体流动的时间演变

    本文提出一种基于深度学习的方法，通过使用 LSTM 算法预测流体力学问题中的压力场变化，并在实验中证明了该算法在速度上的优势

    Feb, 2018

  • 利用熔池图像流评估用于印迹异常分类的关键时空学习器

    机器学习在金属增材制造中的应用研究表明，利用熔池特征进行实时缺陷预测是解决普及金属增材制造技术的关键障碍之一，本研究实践了基于新颖时空模型的深度学习，用于分类来自不同材料、系统和应用的熔池图像序列，并发现只有 Kinetics400 预训练的 SlowFast 双流网络能够在数据扰动下具备鲁棒的泛化能力。

    Aug, 2023

  • 动量粒子极大似然

    最大似然估计（MLE）的潜变量模型常常被重新设定为参数和概率分布的扩展空间上的优化问题。我们提出了一个受动力系统启发的方法，结合了 Nesterov 的加速梯度法、欠阻尼朗之万方程和粒子方法，使得该算法在连续时间中收敛到函数的唯一最小值。通过数值实验，我们证明该算法比现有方法更快地收敛，并与其他（近似的）MLE 算法相比具有优势。

    Dec, 2023

  • PoNet: 长序列中高效的令牌混合池化网络

    本文提出了一种新的 Pooling Network (PoNet)，它使用线性复杂度的 token mixing 处理长序列，通过多粒度池化和池化融合来捕获不同级别的上下文信息，并结合 tokens 进行交互来提高模型性能。在长范围竞技基准测试中，PoNet 显著优于 Transformer，同时实现与最快模型 FNet 相当的准确性，在 GPU 上度量所有序列长度时仅比最快模型慢一点。同时文章也进行了系统的研究，证明了 PoNet 设计的多粒度池化和池化融合的加强长序列的 token 混合以及设计的预训练任务可用于学习可转移的上下文化语言表示的有效性。

    Oct, 2021

  • 多模态金融时间序列检索通过潜空间投影

    在本文中，我们提出和演示了一种使用深度编码器将金融时间序列的多模态数据存储在低维潜空间中的框架，使潜空间投影不仅捕获时间序列趋势，还捕获金融时间序列数据的其他有价值的信息或属性（例如价格波动性），同时允许用户友好的查询界面，包括自然语言文本和时间序列的草图。我们展示了我们的方法在计算效率和准确性方面在真实历史数据和合成数据上的优势，并突出了使用潜空间投影在金融时间序列数据的存储和检索中的实用性。

    Sep, 2023

  • 利用拉普拉斯池化实现可解释的稀疏图表示学习

    本研究提出了一种基于 LaPool 的 Hierarchical Graph Pooling 方法，该方法可以提高图分子的表示，有助于药物设计和有效的分子生成。这种方法已经在分子图预测和理解任务上进行了基准测试，并且表现出优于最近 GNN 的性能，同时它也在非分子任务上表现出良好的竞争力。此外，定量和定性评估证明了 LaPool 的解释性和其在药物设计中的潜在益处，并且该方法的可用性也被证明可以集成到对抗性自动编码器中，以生成有效和新颖的分子。

    May, 2019