reversal curse | BriefGPT - AI 论文速递

关键词reversal curse

搜索结果 - 7

因子化诅咒：预测逆转诅咒及更多的标记
最好的语言模型仍然在幻影现象方面存在困难：生成的事实不正确，这妨碍了它们在训练期间可靠地检索到的信息；我们将逆序诅咒重新界定为因子化诅咒 - 模型在不同的因子化下学习相同联合分布的失败；通过一系列的受控实验，包括我们引入的模拟知识密集的微调
PDFa month ago
通过训练动力学探索 “逆转诅咒” 的理论理解
通过训练动力学，理论分析自回归模型中的逆转问题，揭示了逆转诅咒发生的核心原因是自回归模型的权重存在不对称性；同时，证明了链式思维在一层变压器中的必要性，并进行了与多层变压器的实验证实。
PDF2 months ago
逆向训练护理逆转诅咒
大型语言模型（LLMs）在 “A 具有特征 B” 的训练中无法推广到 “B 是 A 的特征”，这称为反转诅咒。本研究提出了一种替代训练方案，称为反向训练，通过将训练字符串进行反转并保留（即不反转）选择的子字符串（如实体）来同时以正向和反向方
PDF3 months ago
通过语义感知的排列训练减轻逆序诅咒
通过语义感知排列训练（SPT）方法，我们成功解决了因句子结构差异导致的逆转诅咒问题，改进了因果语言模型的性能，并推进了当前研究的发展。
PDF4 months ago
不是所有大型语言模型（LLM）都屈服于 “逆转诅咒”：BERT 和 GPT 模型推理能力的比较研究
在这项研究中，我们探讨了大规模语言模型在逻辑推理方面的局限性，发现 ChatGPT 等自回归解码器训练模型在 'A 是 B' 的任务中往往无法学习到 'B 是 A'，从而揭示了它们在逻辑演绎上的失败。我们的研究不仅对双向语言模型 BERT
PDF7 months ago
是否陷入中等智能陷阱？逆转诅咒的分析与缓解
大型语言模型中存在的逆转诅咒问题，训练目标的限制以及对整个上下文的了解程度对其影响，因此提出了一种新的训练方法 BICO 来缓解这一问题。
PDF8 months ago
逆转诅咒：基于 “A 是 B” 训练的 LLMs 无法学习到 “B 是 A
该研究揭示了自回归大型语言模型（LLM）中的泛化失败现象，即逆转诅咒，导致逻辑推断的基本失败。通过证据和评估表明 Reversal Curse 在不同模型大小和家族中都是普遍存在的。
PDF9 months ago