Mar, 2023

台风：面向预训练语言模型的有效任务特定遮盖策略

PDF
TL;DR本文探索了一种任务特定的掩蔽框架，用于预先训练的大型语言模型，在 GLUE 基准测试的数据集上实现了卓越的性能，我们基于令牌输入梯度开发了我们自己的掩码算法 Typhoon，并将其与其他标准基线进行了比较。我们发现 Typhoon 在 MRPC 数据集上的表现与整词掩蔽相当。
发现论文，激发创造
  • 台风：泰国大型语言模型

    泰国的 Typhoon 超大语言模型是为泰语开发的，本技术报告介绍了开发泰语 LLMs 的挑战和见解，包括数据准备、预训练、指令调整和评估。

    Dec, 2023

  • 基于体裁和主题特征的选择性屏蔽在专业领域中对语言模型的适应

    在本文中，我们介绍了一种创新的掩码方法，利用流派和主题信息来定制语言模型以适用于专业领域，该方法基于词语的重要性对其进行排名，并优先选择重要性高的词进行掩码处理，通过在法律领域进行连续预训练实验证明了我们的方法在 LegalGLUE 基准测试中的有效性，同时提供免费使用的预训练语言模型和代码。

    Feb, 2024

  • Train No Evil: 面向任务导向的有选择掩码预训练

    本文提出了一种三阶段的预训练模型，通过加入任务引导的预训练阶段和选择性掩蔽来学习特定领域和任务模式，实验结果表明，该模型在情感分析任务中可以达到与更少计算成本相当甚至更好的性能。

    Apr, 2020

  • 使用选择性屏蔽作为预训练和微调之间的桥梁

    该研究提出了一种使用任务特定掩码的方法，通过修改预训练的 BERT 模型来适应下游任务。研究结果表明，这种选择性掩码策略优于随机掩码，具有较好的效果。

    Nov, 2022

  • 利用大型语言模型从隐私保护掩码中恢复

    使用大型语言模型，本研究探索了替代标记符的可行性，以保护用户隐私，分析了不同方法的实验结果，在下游语言建模任务中实现了与原始数据训练相媲美的性能。

    Sep, 2023

  • 用于语言模型预训练在线优化的多臂老虎机：动态掩码的使用案例

    通过提出基于多臂老虎机算法的在线优化框架，对预训练超参数进行顺序选择以优化语言模型效果，并通过模型评价展示该算法有效性。

    Mar, 2022

  • 高效的视觉 - 语言预训练：基于聚类遮挡

    我们提出了一种简单的策略，用于在视觉语言对比学习中遮盖图像补丁，从而提高所学表示的质量和训练速度。该策略随机遮盖视觉上相似的图像补丁群集，并通过强制模型仅根据上下文预测遮盖的视觉结构的单词，提供额外的学习信号，从而超过其他遮盖策略（如 FLIP）在所学表示的质量方面表现良好，并且通过减少每个图像中使用的数据来加速训练。

    May, 2024

  • 面具更多，面具更晚：通过分解 [MASK] 令牌实现有效的遮蔽语言模型预训练

    在预训练过程中追加 [MASK] 可以降低较早层的序列长度，从而在减少计算预算的前提下，提高 RoBERTa 模型的预训练效率，同时在 GLUE 基准测试中表现更好。

    Nov, 2022

  • 自监督图层掩蔽预训练用于图到文本生成

    该论文提出了使用图形遮盖的预训练策略来提高图到文本生成任务中预训练模型的效果，该方法取得了 WebNLG+2020 和 EventNarrative 数据集上的最新最好成果，并在低资源设置中表现出非常有效的结果。

    Oct, 2022

  • 掩蔽：预训练语言模型的有效替代方法

    本文提出了一种有效的预训练语言模型利用方法，其中利用二进制选择性蒙版来代替微调的方法对预训练权重进行修改。对 Bert 和 Roberta 模型进行掩模和微调的广泛评估表明，我们的掩模方案在执行多个任务时具有可比性的性能，却具有更小的内存占用。通过本文内在评估，我们展示了由掩模语言模型计算的表征编码了解决下游任务所需的信息。分析损失景观，我们展示了掩蔽和微调能够生成几乎具有恒定测试准确度的线段相连的值，证实了掩蔽是微调的有效替代方法。

    Apr, 2020