Jun, 2023

基于预训练双变压器的时间感知二分图模型

PDF
TL;DR本文提出了一种基于对偶 Transformer 结构，利用对预训练数据集的上下文信息进行对比学习来生成用户端和内容端之间双向映射的预训练方法，并在推荐任务中证明了该方法的有效性。
pre-traininguser-content interactioncontextual knowledgedual-transformer architecturerecommendation task
发现论文，激发创造
  • 监督预训练可学习上下文强化学习

    在这篇论文中，我们通过引入和研究 Decision-Pretrained Transformer（DPT）并展示它在上下文感知机器人决策中的运用，证明了大型变形机模型在多个数据集上的上下文学习能力，同时实现了对决策问题的研究及基于贝叶斯后验采样的跨任务性能。

    Jun, 2023

  • ULTRA-DP：将图预训练与多任务图双提示统一化

    本文提出了一种基于图混合预训练的统一框架，通过提示机制将任务识别和位置识别注入图神经网络，从而有效减小语义差距，实现更好的性能提升。

    Oct, 2023

  • 改进时间序列表示学习的双向生成预训练

    通过时间序列数据的下一个令牌和上一个令牌的预测，BiTimelyGPT 在预训练任务中保留了时间序列的原始分布和数据形状，并展示了更具表现力的表示能力。使用生物信号数据，BiTimelyGPT 在预测神经功能、疾病诊断和生理迹象方面表现出优异性能。通过可视化注意力热图，我们观察到经过预训练的 BiTimelyGPT 能够从时间序列序列中识别出有区别性的片段，尤其是在任务微调之后。

    Feb, 2024

  • 将图上上下文知识融入预训练语言模型

    本文提出了一种基于 Transformer 模型的知识表示学习方法，能够有效地捕捉知识图谱中节点的上下文信息，提高了医学自然语言处理中的性能表现。

    Nov, 2019

  • 基于预训练 Transformer 自然语言模型的开放领域对话生成的实证研究

    本研究使用预训练模式和微调模式对基于 Transformer 的语言模型进行实证研究，探讨其在开放域对话生成任务中的性能表现和多样性，发现各种变形策略对生成结果都有不同程度的影响。

    Mar, 2020

  • Dual-Path Transformer Network: 直接上下文感知建模的端到端单声道语音分离

    本研究提出一种双路径变换网络（DPTNet）进行端到端语音分离，引入了直接上下文感知建模。改进的变换器使元素之间可以直接交互，并且双路径结构使得模型效率更高，实验结果表明，我们的方法优于当前最先进的模型（公共 WSj0-2mix 数据集上的 20.6 dB SDR）。

    Jul, 2020

  • Bi-Link：通过对 Transformer 和提示进行对比学习，连接文本中的归纳链接预测

    本文提出了一种叫做 Bi-Link 的对比学习框架，利用 BERT 的语法知识进行有效的搜索来进行关系预测，并设计了对称的关系预测模型，并在链接预测数据集（WN18RR、FB15K-237 和 Wikidata5M）上优于最近的基准线。

    Oct, 2022

  • 解锁偏差检测：利用基于 Transformer 模型的内容分析

    通过联合使用 Context Transformer 和 Entity Transformer，我们提出了一种新的 Contextualized Bi-Directional Dual Transformer（CBDT）分类器，用于检测文本中的偏见。实验结果表明，CBDT 分类器在准确分类有偏见和无偏见的句子以及识别具体有偏见词语和短语方面具有优势。与基准模型相比，我们获得了约 2-4% 的性能提升。未来的研究可以将该模型扩展到不同的语言和文化背景。

    Sep, 2023

  • 预训练数据混合提高 Transformer 模型选择能力

    在这项研究中，我们研究了 Transformer 模型，特别是大型语言模型（LLMs），它们具有在上下文中学习的显著能力，即在未见过的输入 - 输出示例的提示下执行新任务，而无需任何显式的模型训练。我们的实证结果显示变压器在选择无监督模型和在上下文中学习不同任务家族方面表现出近乎最优的能力，但当面对超出预训练数据领域的任务或功能时，我们展示了变压器的各种失败模式和其泛化能力的退化，即使是简单的外推任务也是如此。总的来说，我们的结果强调了高容量序列模型令人印象深刻的上下文学习能力可能与其预训练数据组合的覆盖范围更紧密相关，而不是创造基本泛化能力的归纳偏差。

    Nov, 2023

  • 通过任务超图实现推荐的统一预训练

    我们提出了一种名为 Unified Pretraining for Recommendation via Task Hypergraphs 的新型多任务预训练框架，通过任务超图将预训练任务广泛应用于推荐系统中，设计了一种新颖的过渡关注层来区分性地学习每个预训练任务和推荐之间的相关性，并通过实验结果验证了 UPRTH 的优越性，并进行了进一步的详细研究来证明该框架的有效性。

    Oct, 2023