BriefGPT.xyz
大模型
Ask
alpha
关键词
mass
搜索结果 - 5
基于去噪的 UNMT 比基于 MASS 的 UNMT 更具有抗词序分歧的能力
本文研究使用自监督预训练的 UNMT 方法在语言对的词序差异方面的稳健性，并比较了两种使用相同自监督预训练目标的模型。在五种英语→印度语语言对的实验中，发现基于 DAE 的 UNMT 方法在具有词序差异的情况下表现更稳健，可能是由于 DAE
→
PDF
a year ago
MaSS：基于圣经的大型干净语言对齐口语预料库
提出 MaSS 数据集，基于世界各地包含该圣经的语言录制了 8,130 个平行口语表达，通过样本质量的人工评估，证明了该数据集对构建自然语言处理系统（尤其是多语言间的语音转写和翻译任务）的有效性。
PDF
5 years ago
ICML
MASS: 面向语言生成的遮掩序列到序列预训练
该论文介绍了 MASS 作为一种在 encoder-decoder 架构下的自然语言生成前预训练方法，通过在随机遮掩的句子中构建代表性提取和语言建模能力，再在文本生成、翻译及会话生成等多个语言生成任务中进行进一步微调，以获得比其他无预训练模
→
PDF
5 years ago
利用动量加速随机梯度下降优化过参数化学习
本文介绍了一种名为 MaSS 的算法，它使用与 SGD 相同的步长，但具有比 SGD 更快的加速收敛速度。该算法解决了 Nesterov SGD 的不收敛问题，并分析了收敛速度和最优超参数对于 mini-batch size 的依赖性。实验
→
PDF
6 years ago
Q1-17（DR25）变迁检测运行的 Kepler 目标星的修订特性
本文通过对多达 197,096 个 Kepler 目标的修正后的恒星属性进行分析，提出了精确测量外行星数据中至关重要的恒星基本属性（如温度，半径和质量）及其出现率的新目录，其中包括了恒星的距离和消光度，每颗恒星的每个参数的后验样本也被提供。
PDF
8 years ago
Prev
Next