用于无监督学习的快速准确的深度双向语言表示

ACLApr, 2020

用于无监督学习的快速准确的深度双向语言表示

Fast and Accurate Deep Bidirectional Language Representations for Unsupervised Learning

Joongbo Shin, Yoonhyung Lee, Seunghyun Yoon, Kyomin Jung

TL;DR提出了一种基于 Transformer 的文本自编码器（T-TA），可以在不需要重复推理的情况下计算上下文语言表示。实验结果表明，在 CPU 环境下，T-TA 在 reranking 任务中比基于 BERT 的模型快六倍，在语义相似性任务中快十二倍，并在这些任务上表现出与 BERT 相当甚至更好的准确性。

Abstract

Even though bert achieves successful performance improvements in various supervised learning tasks, applying bert for unsupervised tasks still holds a limitation that it requires repetitive inference for computin

bert unsupervised learning deep bidirectional language model transformer-based text autoencoder contextual language representations

发现论文，激发创造

BERT: 深度双向变换器的预训练用于语言理解

介绍了一种新的语言表示模型 BERT，可以通过预训练深度双向表示生成模型从未标记的文本中学习，通过微调可用于广泛的任务，包括自然语言处理。

Oct, 2018

利用 Transformer 的双向编码表示进行答案选择

本文探讨了在大规模数据集上对 transformer 模型进行语言模型的预训练，并在 QA 和 CQA 数据集上微调 BERT 模型进行答案选择任务，在 QA 数据集中观察到了最大 13.1% 的提升，在 CQA 数据集中观察到了最大 18.7% 的提升。

Nov, 2020

基于创新的 Bert 重新排序语言模型在语音识别中的应用

本文利用 BERT 模型重新排序自动语音识别中的 N 个最优假设，同时融合了任务特定的全局主题信息。实验表明，相较于循环神经网络和利用 BERT 计算伪对数似然分数的方法，本方法在 AMI 基准语料库上的有效性和可行性得到了证实。

Apr, 2021

基于 Transformer 语言模型的句子瓶颈自编码器

本篇论文提出一种基于自编码器和预训练 transformer 语言模型的文本表示学习方法，通过只训练句子编码和单层 transformer 解码器，获取良好的句子表示，超过了使用预训练 transformer 模型在各类文本任务中的表现，且参数规模更小。

Aug, 2021

使用预训练编码器进行文本摘要

本研究展示了 BERT 如何在文本摘要中有用地应用，并提出了一种通用的框架，包括抽取式模型和生成式模型。在此框架下，我们引入了一种新的基于 BERT 的文档级编码器，该编码器能够表达文档的语义并获取其句子的表示，通过堆叠多个 Transformer 层来构建我们的抽取式模型，对于生成式摘要，我们提出一种新的微调策略，以解决编码器和解码器之间的不匹配问题，并演示了两阶段微调方法可以进一步提高生成摘要的质量。在三个数据集上的实验表明，我们的模型不仅在抽取式设置下，在生成式设置下也达到了最先进的水平。

Aug, 2019

无监督机器翻译的快速反向翻译

利用 Transformer 和反向翻译算法，以及引入 Quick Back-Translation (QBT) 的改进方法，提高无监督机器翻译的数据通量、利用率及训练效率。

Dec, 2023

BERT4Rec: 使用 Transformer 的双向编码器表示进行序列推荐

利用双向编码表示从历史行为中建模用户的动态演变偏好对于推荐系统至关重要，我们通过使用 Cloze 任务对历史序列项进行联合编码来解决这个问题，并在四个基准数据集上展开广泛实验，结果显示我们的模型在各种顺序模型中表现出色。

Apr, 2019

TSDAE: 使用基於 Transformer 的逐步去噪自編碼器進行無監督句子嵌入式學習

本研究基于预训练的 Transformer 和序列去噪自编码器（TSDAE）提出了一种新的最先进的无监督方法，该方法表现优于先前的方法高达 6.4 个点。它可以达到领域内监督方法的性能的 93.1％。此外，我们证明了 TSDAE 是一种强大的领域自适应和预训练方法，明显优于其他方法，如遮蔽语言模型。我们在来自异构领域的四个不同数据集上评估 TSDAE 和其他最近的方法。

Apr, 2021

TERA：基于自监督学习的 Transformer 编码器音频表示学习

介绍了一种称为 TERA 的自监督语音预训练方法，利用一种通过沿着三个正交轴对变换来预训练 Transformer Encoders 的方法，在多个下游任务中实现了出色的性能。

Jul, 2020

基于 Transformer 的细调编码器在土耳其语言理解任务中的应用

我们在这项研究中，为土耳其语提供了基于 Transformer 模型的 BERTurk 模型，并进行了多个下游任务的微调和评估，包括命名实体识别、情感分析、问题回答和文本分类。与其他基线方法相比，我们的研究在土耳其语中显著提高了性能，并公开发布了这四个微调模型和资源，以支持其他土耳其研究人员和应用。

Jan, 2024