pre-training language models | BriefGPT

关键词pre-training language models

搜索结果 - 11

建立预训练语言模型的方法：无数据？别担心，采用翻译语言
通过使用机器翻译创建合成数据（Translationese）预训练语言模型（LMs），本研究探讨了将 Translationese 作为一种用于预训练语言模型的可用性。我们以英语和印度语为例，将网络抓取的单语文档翻译成目标语言，然后在这些合
PDF3 months ago
语言模型的算法进展
自 2012 年至 2023 年，使用 Wikitext 和 Penn Treebank 的 200 多个语言模型评估数据集，我们发现为达到一定性能门槛所需的计算量每 8 个月减少一半，置信区间为 5 到 14 个月，远快于 Moore 定
PDF4 months ago
F-PABEE: 用于单标签和多标签文本分类任务的灵活耐心型早期退出
F-PABEE 方法通过在分类器进行预测，如果跨层预测分布连续相似，则提前退出，相对于之前最先进的 PABEE 早期退出方法更灵活，同时可以调整相似度分数阈值和耐心参数，通过实验证明，在单标签分类和多标签分类任务中，在 BERT 和 ALB
PDFa year ago
使用多个演示示例的上下文学习
本研究提出了基于高效 Transformer 机制的长程语言模型 EVALM，采用 8k 批处理行的方式进行训练，并可测试长度达到 256k 的上下文，实验结果显示，EVALM 平均精度比现有 PLMs 高 4.1％，而且在上下文学习和指令
PDFa year ago
EMNLP任务指南针：任务前缀下的多任务预训练扩展
文章提出了一种基于任务前缀引导的多任务预训练框架，通过任务感知的注释数据作为监督信号，以帮助大规模无标签数据的自我监督学习，并利用它来探索任务之间的关系，并在 40 个数据集上进行了实验，在通用常识推理排行榜上实现了人类水平的结果。
PDF2 years ago
为了更好的语言模型预训练，学习更好的掩码技术
本研究通过探索不同时间阶段掩码策略方式，发现固定掩码比率和掩码内容是无法实现最佳效果的。因此，提出了两种自适应掩码策略，通过不同的训练阶段来调整掩码比率和掩码内容以提高模型的性能，并在下游任务中进行验证。该研究的工作是关于时间相关掩码策略对
PDF2 years ago
英文简历语料库的构建与预训练语言模型测试
将简历信息提取任务转化为句子分类任务，提高分类规则创造更大和更细粒度分类数据集，测试预训练语言模型在语料库的表现，并探索训练样本数量与正确率之间的关系。通过改善注释规则和增加数据集样本大小，改善了原始简历数据集的准确性。
PDF2 years ago
ACL通过实体覆盖控制提高抽象摘要的忠实度
本文提出了一种使用 “实体覆盖控制（Entity Coverage Control，ECC）” 方法来解决预训练语言模型产生的 “幻觉（hallucinate）” 现象的方案，该方法不仅更好地保持了上下文的内容准确性，而且在使用大量噪声数据
PDF2 years ago
AAAI对话生成中的重复抑制
本文研究基于上下文感知分类器的对话生成方法，通过对重复性的控制，提高了人工生成文本的质量和真实性。
PDF3 years ago
EMNLPBERT4GCN：利用 BERT 中间层增强 GCN 进行基于方面的情感分类
本文提出了一种新的模型 BERT4GCN，它将来自 BERT 中间层的语法顺序特征与依存图中的句法知识相结合，以更好地编码依存图进行下游分类，并通过实验验证，BERT4GCN 可以极大地增强 ABSC 模型的能力。
PDF3 years ago
AAAI预训练语言模型的可迁移性研究：来自人工数据集的探讨
本文研究了预先训练语言模型在下游任务中表现卓越的特定特质，包括匹配预训练集和下游任务的词汇统计信息、明确依赖关系和隐式依赖的长度等。实验证明，在预先训练数据的明确依赖关系中加入后，模型的下游性能显著提高。我们发现预先训练模型是有可能在下游任
PDF3 years ago