perplexity reduction | BriefGPT

关键词perplexity reduction

搜索结果 - 7

ALPS：面向大型语言模型的高度稀疏一次性修剪的改进优化
本文介绍了一种名为 ALPS 的基于优化的框架，用于通过操作拆分技术和预条件共轭梯度后处理步骤处理修剪问题，并结合向量化和 GPU 并行性以提高效率，在修剪目标和困惑度降低方面远远超过现有方法，特别是对于高度稀疏的模型。在 OPT-30B
PDF24 days ago
CAMELoT：针对不需要训练的集成联想存储的大型语言模型
通过引入关联记忆模块，在不需要重新训练的情况下，使得任何预训练（固定）基于注意力的大型语言模型能够处理任意长的输入序列，从而在长文本建模中实现了显著的困惑度降低。
PDF5 months ago
基于表面的检索降低检索增强语言模型的困惑度
本文通过重新构建语义检索机制以 surface-level 方法代替 BM25 方法，成功降低语言模型 perplexity 并提高性能。
PDFa year ago
使用丰富元数据注释对屏幕人物进行个性化语言建模
本文描述了对 Cornell 电影对话语料库中的 863 个发言人进行人工特征标注的方法，这些标注可以用于个性化语言模型，包括特征引用和角色描述，并自动提取了超过 95％的电影的六个 Metadata。实验证明，这些注释可以有效地用于个性化
PDFa year ago
ACL语言模型的即时信息检索增强
本文的研究重点是探索使用信息检索作为预训练语言模型的增强，通过将信息检索与 GPT 2.0 相结合，可以实现 Gigaword 语料库中的困惑度降低 15％，同时还验证了该增强技术在事件共参考任务上的有效性。
PDF4 years ago
足够好的组合数据增强
本文提出了一种简单的数据增强协议，旨在为条件和无条件序列模型提供组合归纳偏置。经过测试，该协议可以应用于神经序列到序列模型和 n-gram 语言模型，使得错误率和困惑度均有所降低。
PDF5 years ago
EMNLP潜在树语言模型
本文介绍了潜在树语言模型（LTLM），该模型将给定句子的语法和语义编码为单词角色树。将 LTLM 与 4 元修改 Kneser-Ney 语言模型相结合，通过线性插值，在英语和捷克语语料库中的实验表明，与独立的 4 元修改 Kneser-Ne
PDF8 years ago