text encoder | BriefGPT - AI 论文速递

关键词text encoder

搜索结果 - 29

基于语言的音频检索：收敛绑定层和对比损失
本文介绍了一种简单，可扩展的架构，将语音和文本编码器结合在一起，并使用对比损失来显著提高基线模型的性能。通过使用预训练模型，无需微调即可在极低的训练内存要求下实现优异的语音检索表现。实验结果表明，采用我们的方法组合可以显著提高基线分数。
PDF2 years ago
ACL将层次结构纳入文本编码器：一个基于对比学习的层次文本分类方法
本文提出了一种将层级结构直接嵌入文本编码器的层次引导对比学习（HGCLR）方法，通过此方法，将正样本进行层次指导，以学习生成具备层次感知的文本表示，在三个基准数据集上的实验证明了 HGCLR 的有效性。
PDF2 years ago
ICLR基于自然语言的语义分割
LSeg 是一种用于语言驱动语义图像分割的新模型，使用文本编码器计算输入标签的嵌入，和基于 transformer 的图像编码器计算输入图像的嵌入，实现像 “草” 或 “建筑” 这样描述性的输入标签的密集像素嵌入，该模型利用语义类相应的文本
PDF2 years ago
AAAI开放词汇电脑图文解码及零样本情感分类
本文介绍了一种对开放词汇的象限脑电图 (EEG)- 到 - 文本序列到序列解码和零样本句子情感分类的方法，并借助预训练语言模型 (例如 BART) 建立一个新的框架，该模型能够处理来自不同受试者和来源的数据，并证明了该模型可以一旦足够的数据
PDF3 years ago
针对端到端语音识别和理解优化语音和语言潜空间的对齐
本文提出引用对齐器和模态切换训练来更好地对齐语音和文本潜在空间，实验结果在 Librispeech ASR 任务和 SNIPS 槽填充任务上都表现出了显著的性能提升。
PDF3 years ago
ACL多词选择增强的训练 ELECTRA
本研究中提出了一种基于多任务学习的文本编码器预训练方法来改进 ELECTRA 模型，通过同时检测替换的标记和从候选集中选择原始的标记来训练判别器，并使用注意力机制网络和共享底部层的技术同时处理各种预训练任务，取得了在 GLUE 和 SQuA
PDF3 years ago
对比自监督学习的高效数据预训练
本文提出了一种基于对比学习的文本编码器，利用 60MB 的任务内文本数据进行预训练，相较于利用 160GB 的任务外文本进行预训练的 RoBERTa 模型，在预训练效率、数据和计算资源利用率、以及算法公正性方面有了显著提高。
PDF4 years ago
利用预训练语言模型生成通用文本嵌入以实现可扩展推断
研究使用共享文本编码器实现多任务推理以及使用二进制量化减少数据存储大小的方法，证明预训练的编码器在多个任务上表现的泛化性好。
PDF4 years ago
ZEN：基于 N-gram 表示增强的中文文本预训练编码器
本篇论文提出了基于 BERT 的中文文本编码器 ZEN，使用 N-gram 表示法考虑不同字符组合，明确预训练并在字符编码器 (BERT) 的细调中进行单词或短语分界处理，使用较少资源比其他已发布的编码器在大部分任务上获得了最先进的表现，同
PDF5 years ago