language model pretraining | BriefGPT

关键词language model pretraining

搜索结果 - 12

通过大型语言模型增强基于内容的推荐系统
本文提出了一种名为 LoID 的 “插件式” 语义知识传递方法，其中包括两个主要组成部分：基于 LoRA 的大型语言模型预训练以提取多方面的语义信息；基于 ID 的对比目标以对齐它们的特征空间。我们在真实数据集上使用 SOTA 基线进行了大
PDF3 months ago
神经网络网页抓取的更清洁预训练语料库的筛选
本文介绍了一种简单、快速、有效的神经网络网页抓取器（NeuScraper），用于从网页中提取主要和干净的文本内容，并通过实验结果显示 NeuScraper 相比基线抓取器的改进超过了 20%，展示了其在提取高质量数据以促进语言模型预训练方面
PDF4 months ago
ACL小标记和大无标记集合下的神经网络抵抗（以及支持）自训练：分类
我们提出了一种基于神经网络的半监督文本分类器，利用自训练的正负属性。为了解决自训练中的语义漂移问题，我们重新定义了伪标签的角色并构建了一个层次化的信息结构。此外，我们还提出了一种混合度量方法来代替简单的置信度测量，以克服神经网络输出的欠校准
PDF5 months ago
从 Web 爬虫数据构建高质量视觉丰富文档的语料库
提出一种高效管道，通过使用 Common Crawl 在因特网上创建大规模、多语种的 PDF 文件语料库，有助于语言模型的预训练。数据集和工具为研究者提供了开发更好的多语言语言模型的机会。
PDFa year ago
ZusammenQA：专用模型数据增强的跨语言开放检索问答系统
该论文提出了一种用于 COQA 多语言问题解答的系统，该系统使用多种模型变体在数据增强、语段检索和答案生成三个主要组件上进行了研究，并结合语言模型预训练和数据增强等方法有效提高了针对低资源语言的表现。
PDF2 years ago
ACLLinkBERT: 利用文档链接对语言模型进行预训练
本研究提出了一种基于链接文档的 LM 预训练方法 LinkBERT，利用文档之间的超链接链接构建了文本语料库的图形，并通过预训练实现了关系预测和蒙面语言建模两个联合自监督目标，其在多跳推理和少样本 QA 方面特别有效，同时在 BioNLP
PDF2 years ago
EMNLP利用大量多语种知识三元组增强多语言模型
本文提出了使用多语言知识图谱三元组进行直接训练的基于知识的多语言语言模型。通过生成大量的多语言合成句子并设计预训练任务，实现了 KMLMs 对事实知识和逻辑模式的学习，并在跨语言任务中展示了显著的性能提升，包括命名实体识别（NER）、事实知
PDF3 years ago
面向多语言掩码语言建模的大规模 Transformer
本研究探讨了跨语言语言模型预训练的有效性，并且提出了两个参数分别为 3.5B 和 10.7B 的大型多语言掩码语言模型，这两个新模型分别称为 XLM-R XL 和 XLM-R XXL，在 XNLI 中的平均准确率比 XLM-R 高 1.8％
PDF3 years ago
EMNLP终止无效比较：端到端关系抽取
本文针对目前关系提取领域中性能比较不可靠的问题，提出了一些无效比较的模式，并进行了实证研究来量化最常见错误对最终关系提取性能的影响，揭示了 BERT 和 span-level NER 的不足。本文强调在评估环节中应统一评估设置和数据集统计，
PDF4 years ago
EMNLP预训练语言模型的可转移性研究
研究了语言模型预训练对迁移学习的帮助，引入了一种部分重新初始化的技术来测量每个预训练层对迁移学习效果的影响。结果表明在 BERT 中，对于下游 GLUE 任务性能高的层并不是必要的，也不足以保证高准确性，与此同时，当微调数据较少时，参数提供
PDF4 years ago
RoBERTa: 一个稳健优化的 BERT 预训练方法
本研究进行了 BERT 预训练的复现研究，并对其关键的超参数和训练数据大小的影响进行了测量，发现 BERT 被显著低估，并且可以超过其之后发布的每个模型的表现，提高了以前被忽视的设计选择的重要性，并引发了对最近报道的改进的疑问。
PDF5 years ago
语言模型预训练用于层次文档表示
从无标注数据中预训练了一种能够包括来自整个文档的上下文信息的分层文档表示，包括定长的句子 / 段落表示，并应用于文档分割、文档级问答和抽取式文档摘要等方面取得了有效结果。
PDF5 years ago