PE:一种用于快速文本层次生成的 Poincare 解释方法
通过将符号数据嵌入超载空间(或更确切地说是 n 维庞加莱球)来学习符号数据的分层表示的方法,通过实验证明 Poincare 嵌入在具有潜在层次结构的数据上显着优于欧几里得嵌入,无论是在表示能力还是泛化能力方面。
May, 2017
图变换器(GTs)通过计算节点对的自注意力,而不考虑节点位置信息,促进了对图结构数据的理解。为了解决这一限制,我们引入了一种创新且高效的框架,将位置编码(PEs)引入 Transformer,生成一组可学习的位置编码,这些位置编码存在于非欧几里德域中的双曲空间。通过这种方法,我们可以探索用于特定下游任务的 PEs 的多种选择选项,利用双曲神经网络或双曲图卷积网络。此外,我们重新使用这些位置编码来减轻深层图神经网络(GNNs)中的过度平滑的影响。对分子基准数据集、合著作者网络和共同购买网络进行的全面实验证实了双曲位置编码在提高深层 GNN 性能方面的有效性。
Dec, 2023
提出了一种名为 PoinDP 的 Poincaré 差分隐私框架,用于基于双曲几何的层次感知图嵌入的保护,通过学习双曲空间中的层次权重和自适应分配隐私保护强度来解决现有隐私保护框架在层次传播中保护能力不足的问题,实现了在节点分类任务上既能有效保护隐私又能保持良好性能的优势。
Dec, 2023
该论文提出了一种基于 Poincaré ball 模型的统一框架,用于构建可伸缩、简单的超几何线性分类器,并给出了凸优化的解决方案,该算法在合成数据集和真实数据集上的表现均有很高的准确率。
Sep, 2021
我们提出了一种新颖的基于树结构的解释技术 PEACH,它可以使用任何预训练的上下文嵌入以人可解释的方式解释文本文档的分类。使用 PEACH,我们对九个不同的 NLP 文本分类基准进行了全面分析,并通过人可解释的词云树来可视化特征选择和文本分类的重要趋势,同时明确了模型的错误并辅助数据集调试。除了解释性外,PEACH 在性能上优于或与预训练模型相似。
Apr, 2024
本文提出了一种名为 “超宾说外显”(HIE)的方法,通过使用节点到原点的超宾距离(即超宾范数)推导出的无成本分层信息来改进现有的超宾表示方法,并在各种模型和不同任务上的广泛实验中展示了该方法的多功能性和适应性。
Jun, 2023
本研究提出了一种称为 MuRP 的多关系泊松球模型,用于在 Poincaré 空间中嵌入多关系图数据,并学习关系特定参数以通过 Möbius 矩阵 - 向量乘法和 Möbius 相加来转换嵌入,实验表明 Poincare 嵌入在链接预测任务中比欧几里得模型和现有嵌入方法的效果更好,特别是在低维度的情况下。
May, 2019
本研究使用 Poincare 探针将 contextualized word embeddings 映射到具有明确定义层次结构的 Poincare 子空间中,发现在句法子空间中我们的探针比欧几里德探针更好地恢复了树结构,同时在情感子空间中,我们揭示了正面情感和负面情感的两种潜在的元嵌入,并展示了词汇受控情境化将如何改变嵌入的几何定位。
Apr, 2021
本文介绍了一种基于 Poincaré ball 模型的新型超似曲空间神经网络,该网络构建了多项式逻辑回归、全连接层、卷积层和注意机制,更高效地捕捉数据的分层结构,并在参数效率、稳定性和表现方面优于现有的超似曲组件及欧几里德同类模型。
Jun, 2020