causal language models | BriefGPT

关键词causal language models

搜索结果 - 5

通过语义感知的排列训练减轻逆序诅咒
通过语义感知排列训练（SPT）方法，我们成功解决了因句子结构差异导致的逆转诅咒问题，改进了因果语言模型的性能，并推进了当前研究的发展。
PDF4 months ago
解决因果语言模型中上下文示例的顺序敏感性问题
我们提出了一种无监督的微调方法，称为信息增强和一致性增强方法，以减少在背景上下文示例的顺序敏感性，并展示出强大的泛化能力，特别是当演示示例来源于与训练阶段不同的池，或者当背景上下文示例数量与训练期间使用的数量不同时。
PDF4 months ago
逻辑链：基于大语言模型的基于规则的推理
以 IRAC 框架为灵感，我们引入了一种新的提示方法 - 逻辑链，通过分解（作为独立的逻辑线索解决元素）和重组（将这些子答案重新组合以解决潜在的逻辑表达式）来引发基于规则的推理。我们在涉及三个不同组合规则的八个基于规则的推理任务中对逻辑链进
PDF5 months ago
变形金刚因果语言建模的元学习视角
我们通过解释 Transformer 架构内部可能发生的内部优化过程，建立了一种元学习视角，从而理解了 Transformer 架构在因果语言建模任务中的训练过程。此外，我们通过实验和对真实数据的理论分析，发现并探索了 Transforme
PDF9 months ago
具有剩余记忆变换器的可控文本生成
本研究提出了一种用于控制文本生成的非侵入式、轻量级控制插件，名为 Residual Memory Transformer（RMT），通过与 Causal Language Models（CLMs）合作，采用残余学习范式，实现了更灵活、更通用
PDF9 months ago