large pretrained language models | BriefGPT

关键词large pretrained language models

搜索结果 - 10

基于矩阵变换的低秩适应（MTLoRA）：一种启发式的参数高效微调方法
该论文介绍了一种基于大规模预训练语言模型 (LPLMs) 的微调技术，通过矩阵变换的重新参数化方法 (MTLoRA) 在下游任务中提高模型性能，取得了显著的提升。
PDF4 months ago
自然语言处理的预训练 - 微调范式教程
预训练 - 微调范式是一种创新的自然语言处理方法，通过使用大型预训练语言模型，在有限的训练数据下，展现出卓越的效率，尤其适用于社会科学研究。本教程全面介绍了预训练 - 微调范式的基本概念并提供实际应用示例，包括多类别分类和回归。旨在鼓励更广
PDF4 months ago
CommonsenseVIS: 自然语言模型的常识推理能力可视化与理解
利用外部常识知识库将模型行为与人类知识对齐，并通过多层次可视化和交互式模型探索和编辑，帮助自然语言处理专家在不同场景中对模型的概念关系推理进行系统且可扩展的可视化分析。
PDFa year ago
上下文学习的组合范例
本文提出了 CEIL 算法以及其应用在 NLP 中，其将 in-context example selection 视为子集选择问题，并通过 Contrastive Learning Objective 进行优化，用于在 12 个分类和生成
PDFa year ago
AutoPEFT: 参数高效微调自动配置搜索
本文介绍了一个名为 AutoPEFT 的框架，通过高维贝叶斯优化自动配置多个 PEFT 模块，控制并最大化性能和参数效率之间的平衡，实现对于性能和参数节约的优化，表现要优于现有的 PEFT 方法，高于标准 GLUE 基准上的平均值，并且在单
PDFa year ago
利用预训练语言模型的快速调优竞赛解决方案技术报告
本报告是关于在预训练语言模型中应用黑盒调整以进行 few-shot 学习的研究。我们提出了基于 LMaaS 场景的解决方案，包括多标签词、P0 选择、滚动更新策略、MLP 分类器的多任务损失以及使用集成方法进一步提高广义化能力。最后，我
PDF2 years ago
EMNLP通过可控反向生成构建高感应上下文以确保对话安全
本文提出了一种名为反向生成的方法来构建对抗性环境，以检测大型预训练语言模型生成的有毒内容，并发现环境毒性和环境类别是引发安全问题的两个重要因素。该方法能够控制对抗性环境的类别、毒性和诱导性等参数。作者构建了一个新的数据集 BAD+，其中包含
PDF2 years ago
用于资源较少的斯洛文尼亚语的序列到序列预训练
该研究针对资源较少的斯洛文尼亚语，训练了两个不同尺寸的 T5 类型序列到序列模型，并分析其在 11 个任务中的表现，结果显示 SloT5 模型在分类任务上大多落后于单语斯洛文尼亚 SloBERTa 模型，但在生成性任务上很有用。
PDF2 years ago
EMNLP受限语言模型实现少样本语义分析器
利用大型预处理语言模型作为少型语义解析器，将输入 paraphrase 成类似英语的控制子语言，通过很少的数据和代码快速批量生成语义解析器，表现出令人惊讶的有效性，远超过基线方法。
PDF3 years ago
人还是机器？自动化自然语言生成文本人类相似性评估
本文提出了一种基于大型预训练语言模型和概率分布的区分程序来自动评估自然语言生成方法产生的文本样本的人类相似度分数，与人类判断的自动评估进行了验证。
PDF4 years ago