unsupervised pre-training | BriefGPT

关键词unsupervised pre-training

搜索结果 - 59

自学习和预训练对于语音识别互补
这篇论文研究了自我训练和无监督预训练以提高语音识别系统的有效方法，并揭示了伪标记和使用 wav2vec 2.0 进行预训练在各种标签数据集上是有互补性的。使用 Libri-light 的仅 10 分钟标注数据和 LibriVox 的 530
PDF4 years ago
EMNLPCDEvalSumm：神经摘要系统跨数据集评估的实证研究
本文通过跨数据集设置，对 11 种代表性的文本摘要模型在不同领域的 5 个数据集上的性能进行了深入分析，揭示了模型的架构和生成方式（抽象和抽取），以及预训练的嵌入式知识对模型泛化能力的影响。
PDF4 years ago
自我训练提升自然语言理解的预训练
本文研究了一种使用自训练方法的半监督学习，提出了 SentAugment 数据增强方法，并取得了在文本分类任务上高达 2.6% 的改进。
PDF4 years ago
SemEval-2020 任务 10 中 ERNIE：使用预训练语言模型学习词汇强调选择
ERNIE 团队在 SemEval-2020 的任务 10 中取得第一名，提出了一种利用无监督预训练模型并在任务中进行微调的方法来寻找给定句子中最重要的单词，并证明这种方法可以通过额外的特征工程和数据增强来提高表现。最终他们的模型取得了 0
PDF4 years ago
ECCVPointContrast: 无监督预训练 3D 点云理解
本研究旨在促进 3D 深度学习表示学习的研究，重点关注高级场景理解任务，使用统一的三元组架构、源数据集和对比损失进行无监督预训练，对室内和室外、真实和合成数据集的 6 个不同基准进行分割和检测，取得了鼓舞性的结果，表明学习到的表示可以在不同
PDF4 years ago
对比学习的好视角是什么？
这篇论文研究不同视角之间的关联性对于对比学习在无监督和半监督任务中的重要性，并提出通过减少视角之间的互信息来学习有效的视角以提高下游任务的准确性。同时，作者在 ImageNet 分类和 PASCAL VOC 目标检测以及 COCO 实例分割
PDF4 years ago
Transformer 基于语音识别的无监督预训练的进一步研究
本文通过进一步研究 Masked Predictive Coding 的三个重要方面：预训练数据的发言风格，对流式模型的扩展和如何更好地将预训练阶段的知识转移，实验证明，在下游识别任务中，预训练数据与匹配的发言风格更有用，使用 APC 和
PDF4 years ago
预训练与学习：为图神经网络保留全局信息
该论文提出了一种名为 G-GNNs 的新型模型，通过无监督预训练获取节点的全局结构和属性特征，然后利用这些特征和原始网络属性，提出了一种 GNN 的并行框架以从这些特征中学习不同的方面。该模型的学习方法可应用于平面图和属性图，并通过 ext
PDF5 years ago
使用无监督预训练改进基于 Transformer 的语音识别
提出一种称为 Masked Predictive Coding 的无监督预训练方法，可用于 Transformer-based 模型的无监督预训练，其应用于 HKUST 的实验表明，使用相同的训练数据，我们可以实现 CER 为 23.3%，
PDF5 years ago
ACL利用预训练检查点进行序列生成任务
本篇论文展示了预训练模型的高效性，使用 Transformer-based 序列到序列模型，并将其与公开的预训练检查点匹配，取得了机器翻译、文本摘要、句子拆分和句子融合等方面的最新的最新成果。
PDF5 years ago
ICML无监督预训练有助于保留来自输入分布的视角
本文研究无监督预训练方法对信息理论的影响，当输入分布显示出多个监督视图时，该方法可以学习层次化表示，并确保学到的特征在条件标签下独立。无监督预训练可以帮助解决过拟合问题，并提出了一种实用方法来评估监督解缠和二进制特征中的多个视图数量。相比之
PDF5 years ago
wav2vec: 语音识别的无监督预训练
本研究通过对原始音频进行特征学习，探索无监督的语音识别预训练方法，在大量无标注音频数据上进行训练，结果表示所得到的特征对提高声学模型训练有积极意义。在 WSJ 测试中，仅使用少量已识别数据，我们的方法成功将 WER 从传统的 log-mel
PDF5 years ago
ACL自我注意力和预训练的多语言组成句法分析
通过对各种语言和预训练条件进行的实验比较表明，联合无监督预训练和微调是一种有效的方法，可以在各种语言上提高句法分析的性能并实现新的最先进的结果。
PDF6 years ago
AAAI智能代理中口语理解的无监督迁移学习
通过使用语言模型的嵌入（ELMo）技术，提出了一种更快、更简单的无监督预训练方法 ELMo-Light（ELMoL），在大量未标记的句子上进行的无监督预训练，在语音识别任务上比从头开始训练或传统的有监督迁移学习方法表现更好，并且当域内的标记
PDF6 years ago
AAAI带截断高斯图模型的无监督学习
本文介绍了一种新型 GGMs 变体，其通过在 GGM 上施加二分结构，并使用截断正态分布来管理隐藏变量以放宽高斯限制，实现了非常有效的推断，进而建立了与修正线性单元（ReLU）神经网络的连接，用于真实值，二进制和计数数据的输出构建，还将该模
PDF8 years ago
CVPR利用类别编码器学习判别特征
本论文根据对深度神经网络训练过程的观察，提出了 class-encoder 的形式化表述方法，它结合了自动编码器（auto-encoders）和 softmax 函数进行监督训练，以降低类别内部的特征空间变异性，提高人脸识别模型的分类性能。
PDF8 years ago
ICLR卷积神经网络的数据相关初始化
该研究提出了一种快速、简单的数据依赖初始化过程，可避免幻灭或爆炸梯度，并能够与当前领先的无监督或自监督预训练方法相匹配，同时比前人的方法快大约三个数量级，当与预训练方法结合时，可以显著优于先前的工作，在监督和无监督预训练之间缩小差距。
PDF9 years ago
ICLR没有卷积能走多远：改进全连接网络
探讨改进全连接网络的性能的方法，提出了线性瓶颈层和非监督预训练方法的影响，探索它们如何通过提高梯度流和减少稀疏性来改进网络，展示全连接网络在置换不变的 CIFAR-10 任务上达到了约 70% 的分类准确率，添加变形数据后达到了 78% 的
PDF9 years ago
ICLR近期进展下的无监督预训练分析
本文针对卷积神经网络在物体识别方面的表现进行研究，探讨了无监督预训练在近期发展中是否仍具有重要的作用，并通过实验证实了无监督预训练对于样本中无监督数量比例较高时的效益，而当比例较低时不如数据增强、抑制过拟合等技术，此外文中还提到了色彩增强等
PDF10 years ago