关键词pre-trained representations
搜索结果 - 6
- 上下文大小对语音预训练的影响：更大并不总是更好
调查了自监督学习中使用多少上下文能够实现高质量的预训练声学模型，发现在训练和推理过程中，40ms 的上下文能够达到最佳的音素可辨识性，而太多上下文则会显著降低表示质量，并且这种模式在监督 ASR 中也适用，当预训练表示被用作冻结输入特征时。 - SpawnNet: 从预训练网络中学习通用可视动作技能
本研究通过使用预训练表示来改善策略学习中的范畴化概括能力，提出了一种新的双流架构 SpawnNet，通过将预训练的多层表示融合到另一个网络中学习鲁棒策略，实验证明了在模仿学习环境中相较以往方法具有显著更好的范畴化概括。
- 预训练视觉模型对控制的有效性不足为奇
研究表明，预训练的视觉表示方法对于控制任务的学习同样有效，甚至在某些情况下可以优于基于真实状态的表示方法，而这些预训练模型仅需要使用标准视觉数据集，而不需要在目标环境中使用真实数据。
- ICML线性对抗概念抹除
提出了一种通过线性极小极大博弈模型来定位和清空文本中的线性子空间，以防止线性预测器恢复与偏见相关的概念，该方法可以减轻内在和外在因素造成的偏见。
- ACL知识蒸馏用于质量评估
为了调整预先训练的质量评估模型的体积，将强质量评估教师模型的知识直接转移到体积更小的模型中，并结合数据增强，得到了具有 8 倍更少参数的轻量级质量评估模型。
- ACL预训练语言模型表示用于语言生成
本文研究了将预训练的语言模型表征集成到序列到序列模型中的不同策略，并将其应用于神经机器翻译和抽象摘要。实验证明，加入编码器网络的预训练表示是最有效的，可以在减慢推理速度仅 14％的情况下获得高达 5.3 BLEU 的增益，并且即使有数百万个