Nov, 2023

Hiformer：基于 Transformer 的异构特征交互学习用于推荐系统

PDF
TL;DR借助基于 Transformer 的体系结构和注意力层，自动捕捉特征交互，并通过引入异构自注意层和 extsc {Hiformer} 模型在工业中应用，解决了将 Transformer 体系结构应用于网络规模推荐系统的挑战，证实了 extsc {Hiformer} 模型在关键参与度指标上的显著改善。
feature interactiontransformer-based architecturerecommender systemsheterogeneous self-attention layerhiformer
发现论文，激发创造
  • Heterformer：一种用于异构文本网络节点表征学习的 Transformer 架构

    本文提出了一种名为 Heterformer 的异构图神经网络 - 嵌套变形器，能够融合图神经网络和预训练语言模型来进行节点表示学习，实验结果证明其在链接预测、节点分类、节点聚类以及语义检索方面都优于现有的基准模型。

    May, 2022

  • HETFORMER：用于长文本抽取式摘要的稀疏注意力异构 Transformer

    本文提出了一种基于 Transformer 的预训练模型，通过多粒度稀疏注意力机制，从长文本中捕捉语义图结构并进行提取式摘要，实验证明 HETFORMER 在 Rouge F1 上具有最先进的性能，同时使用更少的内存和参数。

    Oct, 2021

  • InterFormer：自动语音识别的交互式局部和全局特征融合

    本文提出 InterFormer 方法，使用双向特征交互模块和选择性融合模块实现局部和全局特征的交互和融合，应用于自动语音识别领域，取得比 Transformer 和 Conformer 更好的性能表现。

    May, 2023

  • 交互变换器：人类反应生成

    本研究提出了一种基于交互 Transformer 的新模型，该模型结合了时间和空间的注意力机制，通过使用图形和交互距离模块进一步提高了空间注意力的性能，可用于生成更复杂和长期的交互动作。

    Jul, 2022

  • Multiformer：基于可配置头部的 Transformer 模型的直接语音翻译

    本文提出了一种基于 Transformer 的新模型 Multiformer，它可以根据任务需要在不同的头上应用不同的注意力机制，从而有力地解决了长序列和相邻 token 冗余等问题。同时，我们发现各头权重分布均匀的模型可以取得更好的效果。

    May, 2022

  • MatchFormer: 用于特征匹配的变形金刚中的交错注意力

    本文提出了一种新的层次化提取和匹配变形器 MatchFormer 来提高局部特征匹配的效率和鲁棒性，该方法结合自注意力和跨注意力在多尺度特征的层次化架构上提高匹配鲁棒性，并在室内姿势评估、室外姿势评估、单应性评估和图像匹配检测四个基准测试中均取得 state-of-the-art 的结果。

    Mar, 2022

  • 为推荐系统检测任意顺序的有益特征交互

    该文提出了一种名为 HIRS 的基于超图神经网络的模型，通过采用深度信息最大化方法直接生成任意阶的受益特征交互并做出推荐预测，该算法在推荐准确性方面胜过现有算法高达 5%。

    Jun, 2022

  • HyperFormer: 通过超图 Transformer 学习表现力强的稀疏特征表示

    本文从图学习的角度，利用 Hypergraph Transformer 模型，通过在构造的超图上传递信息，得出在高维稀疏数据的特征表征学习中的相关性，从而更好地解决相关性的问题。

    May, 2023

  • T2G-Former: 将表格特征组织成关系图可促进异构特征交互

    本文提出了一种自动估计表格数据特征间关系的图估算器，根据所建立的关系图组织各独立特征并实现节点间的有序交互，进而进行表格学习。结合该方法，我们提出了一种基于 Transformer 网络的 T2G-Former，能够在不同层次上收集 T2G-Former 中的显著特征并加以综合，实现对表格数据进行有效处理和预测，进而取得了优异的表现。

    Nov, 2022

  • 面向联邦学习的数据异构化处理架构设计思考

    本文提出使用自注意力机制的神经网络模型（如 Transformer），替代传统的卷积神经网络模型，以改进联邦学习中的模型性能和稳定性，尤其当处理异构数据的时候，可以大大降低模型遗忘和加快模型学习收敛速度。

    Jun, 2021