用于归纳迁移回归任务的几何对齐迁移编码器
利用分子数据中的多任务相互信息,通过将曲线坐标与局部平坦坐标对齐来扩展 Geometrically Aligned Transfer Encoder (GATE) 算法,连接多个分子任务以确保从源任务到目标数据的信息流。
May, 2024
采用几何学算法 Cayley-Menger 行列式的 C2L 方法生成伪标签,以在转移学习中自动创建源模型,与经过广泛人类注释的 ImageNet1K 标签相比,其基本模型具有相似或更好的可转移性,从而使最终错误率降低 0.43%,其中 5 个不同数据集中的 4 个错误率减少。
Jul, 2022
引入半监督几何规范化对齐方法(GeRA)来对齐预训练单模态编码器的嵌入空间,通过利用不配对(无标签)数据的流形几何来改善对齐性能,引入了基于扩散算子的几何损失项来防止对局部几何的扭曲,GeRA 是模态不可知的,可以用于对来自任何数据模态的预训练编码器进行对齐,我们的实验证明,在语音 - 文本和图像 - 文本对齐领域,我们的方法较一些主流基线方法在对齐质量方面取得了显著改善,特别是在有限的配对数据量下,使用我们提出的几何规范化方法。
Oct, 2023
本文提出了一种基于自动编码器与流形学习结合的数据探索方法,利用几何正则化项鼓励学习得到的潜在表示沿着数据的内在几何结构发展,并与常规方法相比较,证明该方法在保留内在结构、扩展能力和数据重构方面具有优势
Jul, 2020
我们提出了两种简单且计算高效的方法,基于线性回归模型的负正则化均方差误差来估计优化的目标模型的转移性,在准确性和效率两方面显著优于现有的最先进的回归可转移性估计器。
Dec, 2023
本文使用生成流形模型改变自编码器的潜在空间,以适应数据中的低维流形结构并学习复杂系统的潜在动态,生成转换路径并对属于同一转换路径的样本进行分类。
Dec, 2019
从粒子物理实验中提取科学理解需要高精度和良好的数据效率来解决多样的学习问题。我们提出了 Lorentz Geometric Algebra Transformer(L-GATr),这是一个用于高能物理的全新多功能架构。L-GATr 将高能数据表示为四维时空的几何代数,并在 Lorentz 变换下等变,这是相对论运动学的对称群。同时,该架构是一个 Transformer,使它具有很强的灵活性和可扩展性。L-GATr 首先在粒子物理的回归和分类任务上得到验证。然后,我们构建了第一个 Lorentz 等变生成模型:基于 L-GATr 网络的连续正态流,使用 Riemannian 流匹配进行训练。在我们的实验证明中,L-GATr 与强领域特定的基线模型相媲美甚至更优秀。
May, 2024
本文介绍了一种用于处理几何数据的通用框架 ——Geometric Algebra Transformer (GATr),它能够高效地表示常见几何物体及其运算符,并能够保持几何物体的对称性,经实验表明其在 n-body modeling 和机器人规划方面的表现明显优于无几何基线模型。
May, 2023
提出了一种变分空间转换自编码器(VTAE),通过在 Riemann 流形上最小化测地线来改善表征学习,并提高计算机视觉任务的预测准确性和适用性,包括图像插值和重构。
Apr, 2023
本研究提出一种几何对比生成对抗网络 (GC-GAN),其通过将连续的情感跨越不同个体,将具有特定情感的原始面孔转化为带有目标面部表情的面部表情迁移技术。
Feb, 2018