pretrained | BriefGPT - AI 论文速递

关键词pretrained

搜索结果 - 13

MaLLaM -- 马来西亚大型语言模型
MaLLaM 在马来西亚语境下训练了 1.1 亿、30 亿和 50 亿参数的模型，具有增强的马来语自然语言理解和生成任务能力，优于 ChatGPT3.5 和 Malaysian Mistral 模型，为大型语言模型在马来语上作出了重要贡献。
PDF5 months ago
TinyLlama：一种开源的小型语言模型
TinyLlama 是一个小型预训练语言模型，通过利用开源社区的先进技术（如 FlashAttention）提高计算效率，在一系列下游任务中表现出色，超过了同规模的现有开源语言模型。
PDF6 months ago
ACLRadLing：面向高效放射学报告理解
本文介绍了 RadLing 这一预训练模型，它使用了 500K 个放射学报告作为训练集，并针对放射学领域进行了微调，使其在细化调整任务中取得了与最先进结果相当的性能。本文的主要贡献在于知识感知遮蔽，这是一种通过遮蔽单词来注入知识的分类知识支
PDFa year ago
CodeTF: 一站式 Transformer Library 为最先进的代码 LLM
该研究介绍了 CodeTF—— 一个用于代码 LLMs 和代码智能的开源 Transformer-based 库，它支持众多预训练模型和常见代码基准，标准化的界面和数据特征提取工具。与其他相关工具相比较，CodeTF 采用了模块化设计和可拓
PDFa year ago
EMNLP面向少样本学习的情境内在伦理框架识别
该研究旨在通过预训练的 Large Language Models，提出启示式方法来识别 Morality Frames，以减少依赖昂贵的人工注释，实现少样本学习。使用 few-shot RoBERTa 进行比较，实验结果显示，该方法取得了
PDFa year ago
滤波和进化：半监督自动语音识别的渐进式伪标签精炼
本文研究使用伪标签微调自监督预训练模型的方法，提出通过平均概率分数过滤低质量的伪标签，挑选高可信性训练数据，迭代更新模型纠正不可靠的伪标签并去除噪声标签的策略，以提高语音识别性能。实验结果表明，该方法在 LibriSpeech 上具有良好表
PDF2 years ago
像素的语言建模
该文章介绍了 PIXEL，一种基于像素的预训练语言模型，通过将文本渲染为图像，PIXEL 可以处理不同语言，特别是非拉丁文字。实验发现 PIXEL 在语法和语义处理方面表现优异，且对于噪声文本的输入更为稳健。
PDF2 years ago
GODEL：面向目标导向对话的大规模预训练
这篇论文介绍了 GODEL（Grounded Open Dialogue Language Model），它是一种大型预训练语言模型，用于对话。与以前的模型相比，GODEL 利用了一种新的基于 Grounded 的预训练方法，以更好地支持适
PDF2 years ago
具备前处理和后处理流程的问题 - 答案对下游 Transformer 生成
使用 TP3 系统，通过预训练 Transformers 在 SQuAD 数据集上进行微调，进行自动提取合适的答案和生成高质量 QAPs，以 Gaokao-EN 数据集验证。
PDF2 years ago
ACLTrankit：用于多语言自然语言处理的轻量级基于 Transformer 的工具包
Trankit 是一个轻量级的基于 Transformer 的工具包，提供了一个可训练的多语言 NLP 任务流水线，支持 100 多种语言，以及 56 种语言的 90 个预训练流水线，可用于句子分割、词性标注、形态特征标注、依存分析等任务，
PDF3 years ago
EMNLP利用多语言 BERT、小语料库和小树库进行分析
本文提出在多语种低资源场景下采用语言特定的预训练和词汇扩充以适应多语种模型并使用所提出方法对四种语言进行案例研究，结果显示这些方法可以显著提高性能，特别是在最低资源的情况下，并证明了模型的预训练数据与目标语言变体之间的关系的重要性。
PDF4 years ago
EMNLPBeto, Bentz, Becas：BERT 的跨语言效果之惊人
该研究探讨了 mBERT 作为零 - shot 语言转移模型在跨语言任务上的运用，包括 NLI、文档分类、NER、POS 标注和依赖分析等五个任务。研究发现，mBERT 在每个任务上都具有竞争力，并考察了其使用策略、语言无关特征和影响跨语言
PDF5 years ago
BERT 的文章重新排序
本文介绍了一个基于查询的段落重排的 BERT 的简单重新实现，该系统在 TREC-CAR 数据集上处于技术先进地位，是 MS MARCO 段落检索任务排行榜中的前列，优于以前的技术领先 27%（相对于 MRR @ 10）。
PDF5 years ago