BERT4CTR: 将预训练语言模型与非文本特征结合的高效框架用于 CTR 预测

Aug, 2023

BERT4CTR: 将预训练语言模型与非文本特征结合的高效框架用于 CTR 预测

BERT4CTR: An Efficient Framework to Combine Pre-trained Language Model with Non-textual Features for CTR Prediction

Dong Wang, Kavé Salamatian, Yunqing Xia, Weiwei Deng, Qi Zhiang

TL;DR提出一种新的 BERT4CTR 框架，利用 Uni-Attention 机制在处理多模态输入和 CTR 预测中通过降维的方式从非文本和文本特征之间获得交互信息，并在训练和推断中保持低时间成本，实验证明其在公共和商业数据上显著优于现有框架。

Abstract

Although deep pre-trained language models have shown promising benefit in a large set of industrial scenarios, including Click-Through-Rate (CTR) prediction, how to integrate pre-trained language models that handle only textual signals into a prediction pipeline with non-textual featur

deep pre-trained language models multi-modal inputs fine-tuning ensemble framework ctr prediction

发现论文，激发创造

ALT: 语言和 CTR 模型之间的细粒度对齐性，用于点击率预测

本文提出了一种新颖的基于 Fine-grained Feature-level Alignment 的语言模型和点击率（CTR）预测模型，通过协同建模和语义知识提取，实现了文本模态和表格模态之间的特征交互和对齐，取得了比现有方法更好的实验结果，并适用于多种语言和 CTR 模型。

Oct, 2023

ClickPrompt：CTR 模型是将语言模型用于 CTR 预测的强大提示生成器

本研究提出了一个新的模型无关框架（ClickPrompt），通过将 CTR 模型与预训练语言模型结合，旨在同时建模语义知识和协同知识，解决 CTR 估计的推理效率问题。实验证明 ClickPrompt 相较于现有基准模型具有显著的效果。

Oct, 2023

CL4CTR: 用于 CTR 预测的对比学习框架

本文提出了一种基于自监督学习的 Click-Through Rate (CTR) 预测框架 (CL4CTR)，采用三种自监督学习信号作为特征表征学习的正则化项以提高 CTR 预测性能，并在四个数据集上实验证明其与各种代表性基线相比具有卓越的性能和兼容性。

Dec, 2022

TFNet: 多语义特征交互用于 CTR 预测

本文提出了一种新颖的基于张量的特征交互网络模型（Tensor-based Feature interaction Network，TFNet），通过多个语义空间中的多个多维矩阵，引入操作张量来阐述特征交互，从而在 CTR 预测、推荐系统等方面实现了更好的表现。

Jun, 2020

使用多模态 Transformer 进行基于帧的直播流点击率预测

本文提出了一种基于多模态 Transformer 的 ContentCTR 模型，采用帧级别的 CTR 预测来充分利用视觉帧、音频和评论等多模态信息，借助具有一阶差分约束的新型成对损失函数来利用亮点和非亮点间的对比信息，以及基于动态时间规整的时间文本 - 视频对齐模块以捕捉实时内容变化，实验表明该方法在真实场景和公共数据集上进行推荐时均优于传统方法，应用于公司平台后的在线 A/B 测试也进一步验证了其实际意义。

Jun, 2023

基于预训练语言模型的知识迁移，提升基于 CTC 的语音识别

基于 CTC 的自动语音识别模型一直比基于处理单元的编码 - 解码模型弱，本文提出了两种知识转移方法，借助预训练的 BERT 和 GPT2 来提高 CTC-based 模型的性能。在实验中，相对于不使用外部语言模型的基础模型，我们的方法将字符错误率降低了 16.1%。

Feb, 2022

利用 BERT 优化神经机器翻译

本文介绍了一种有力的方法，将事先训练好的语言模型（LMs）与神经机器翻译（NMT）相结合，以解决当前 LM 微调应用于资源丰富任务时巨大遗忘的难题，并在机器翻译任务中取得了优越的成果。

Aug, 2019

BERT 用于情感分析：预训练和微调的替代方案

本文进行了一项针对语言模型 BERT 的情感分析任务的实验性研究，重点分析了如何更好地处理 BERT 输出层的不同嵌入以及使用与多语言模型相比更适合巴西葡萄牙语的语言模型的聚合策略和技术，并发现 BERT 在大多数情况下与 TF-IDF 相比取得了更高的预测性能，但 TF-IDF 在预测性能和计算成本之间达到了良好的平衡。

Jan, 2022

为预训练语言模型整合非语言线索而文本化多模态信息

本文研究了如何将非语言性特征（例如视觉和听觉）转化为对应的文本描述，并将其与口头文本结合，从而将多模态信息整合到基于文本的预训练大语言模型中。我们称此方法为 TextMI，并在情感、幽默和讽刺检测等多个下游任务中进行了 fine-tune，取得了令人满意的性能，因此提出将 TextMI 作为低资源环境下多模态行为分析任务的通用、有竞争力的基准。

Mar, 2023

使用预训练编码器进行文本摘要

本研究展示了 BERT 如何在文本摘要中有用地应用，并提出了一种通用的框架，包括抽取式模型和生成式模型。在此框架下，我们引入了一种新的基于 BERT 的文档级编码器，该编码器能够表达文档的语义并获取其句子的表示，通过堆叠多个 Transformer 层来构建我们的抽取式模型，对于生成式摘要，我们提出一种新的微调策略，以解决编码器和解码器之间的不匹配问题，并演示了两阶段微调方法可以进一步提高生成摘要的质量。在三个数据集上的实验表明，我们的模型不仅在抽取式设置下，在生成式设置下也达到了最先进的水平。

Aug, 2019