task-adaptive pre-training | BriefGPT

关键词task-adaptive pre-training

搜索结果 - 6

ACLAAdaM 参与 SemEval-2024 任务 1：多语言语义文本相关性的增强和适应
本文提出了在 SemEval-2024 Task 1 中开发的系统：用于非洲和亚洲语言的语义文本相关性。该共享任务旨在测量句子对之间的语义文本相关性，重点关注一系列少数语言。我们在这项工作中提出了使用机器翻译进行数据增强来解决有限训练数据的
PDF3 months ago
ACL利用语言模型重新思考半监督学习
本文通过对五种自我训练和任务适应预训练方法在自然语言处理任务中的对比分析，证实在半监督学习任务中，无监督任务适应预训练是一种更高效、更鲁棒的学习方法，可以更好地利用少量未标记样本甚至在领域转移的情况下展现出更好的表现。此外，以伪标签为主导可
PDFa year ago
对话响应选择任务自适应预训练
本研究旨在验证先前论文中提出的关于初始化选择的假设和理解 DRS 改进的来源，研究表明使用 RoBERTa 初始化的性能与 BERT 类似，而 MLM+NSP 可以优于先前提出的所有 TAP 任务，并且 NSP 任务对于 DRS 非常重要，
PDF2 years ago
Clozer: 适应性数据增强用于填空式阅读理解
本文提出了 Clozer，一种基于序列标注的填空答案提取方法，用于 TAPT 从而提高模型性能，并在多项选择式 MRC 任务上进行了实验，证明 Clozer 在能够独立识别黄金答案的同时，提高了 TAPT 的有效性。
PDF2 years ago
ACL利用单词嵌入正则化进行语言模型的任务自适应预训练
该论文提出了一种名为 TAPTER 的新型 fine-tuning 方法，该方法可以通过调整 PTLM 的静态词嵌入来实现领域自适应，无需额外的语料库，并且能提高标准 fine-tuning 和任务自适应预训练在生物医学和维基百科领域的性能
PDF3 years ago
EMNLP面向任务自适应的预训练和自我训练在自然语言理解中互为补充
本文研究几种半监督学习方法提高自然语言理解任务的性能，证明了 Task-adaptive pre-training 和 Self-training 可以通过 TFS protocol 结合使用，使学习所得的表示更加有效，进而在情感分类、语义
PDF3 years ago