decoding strategy | BriefGPT

关键词decoding strategy

搜索结果 - 11

自适应令牌偏置器：通过对关键实体进行偏置来进行知识编辑
通过引入自适应令牌偏置器（ATBias），提升了上下文编辑（ICE）性能，实现了编辑知识的能力，并在大型语言模型中广泛应用。
PDF18 days ago
ACL开放领域对话生成的动态随机解码策略
作为一个开放领域聊天系统，动态解码策略 (DDS) 可以根据不同上下文来调整解码空间以实现序列水平和令牌水平的自适应搜索，旨在提高预训练对话模型的性能。
PDF24 days ago
分解转导模型的有效内部语言模型训练和融合
基于因子化转导模型的新型内部语言模型 (ILM) 训练和解码策略，在 LibriSpeech 数据集上相对于标准解码方法获得了 17% 的相对改进，并与外部语言模型融合强化的强 RNN-T 基线相比，在一般集上获得了 5.5% 的相对改进和
PDF3 months ago
单调改写提高语言模型启示的泛化能力
我们提出了一种单调改写方法（MonoPara），通过一个将提示或指令改写成更低困惑度的改写语言模型和一个用于限制生成更低困惑度的目标语言模型的组合解码过程，对原始提示进行改写而不改变其语义含义，从而降低生成的困惑度，提高零样本语言模型的表现
PDF3 months ago
EMNLP解决文档级神经机器翻译中的长度偏差问题
通过改进训练方法、注意机制和解码策略，我们提出了解决文档级神经机器翻译中长度偏差问题的方法，实验证明我们的方法在多个开放数据集上都取得了显著的改进，并且进一步分析显示我们的方法能够明显减轻长度偏差问题。
PDF8 months ago
DoLa：通过对比层次解码改善大型语言模型中的真实性
通过对比模型的不同层次的逻辑概率分布，通过一个简单的解码策略来减少大语言模型中的幻觉，并提高生成真实、准确事实的能力。
PDF10 months ago
信息过滤于多样性改进解码中用于自然语言生成中的多样性 - 忠实度平衡
本文提出了一种名为 IFDID 的信息过滤方法，通过在两个阶段增加一些典型词汇的选择概率并通过信息量过滤它们，实现多样性和忠实度之间的平衡，相较于传统方法，IFDID 在 ROUGE 得分方面提高了 1.24 分，表示其在多样性及忠实度之间
PDF2 years ago
EMNLP互信息在抽象摘要中减轻幻觉
本文发现了一个简单的标准 —— 模型不确定性高 —— 会导致生成更多的错误内容（即幻觉），并提出了一种解码策略，该策略在存在不确定性时优化源和目标单词的点间互信息，从而减少幻觉的出现，并在 XSum 数据集上进行了实验证明，该方法降低了幻觉
PDF2 years ago
端到端同时语音翻译解码策略的实证研究
本文提出了一种针对端到端同时语音翻译的解码策略，利用线下训练的端到端模型，并对两种语言对进行了实证研究，探讨了不同的输出令牌粒度以及在不同延迟情况下控制 BLEU/Average Lagging 平衡的方法，效果良好。
PDF3 years ago
AAAI跨语言知识图谱对齐的协同推理
本文提出了两种协调推理方法，即 Easy-to-Hard 解码策略和共同实体对齐算法，以解决实体对齐过程中的 “一对多” 问题，并通过扩展当前基线的对齐模型来实现。实验结果表明，该模型达到了最先进的性能水平，提出的推理方法也可以显著改进现有
PDF4 years ago
EMNLP解码策略对生成文本可验证性的影响
这篇论文探究了最新的预训练语言模型生成的文本是否符合事实世界知识，并发现了在解码策略中存在着可验证性与重复性之间的权衡，提出了一种简单而有效的解码策略，可以生成更少重复且更易验证的文本。
PDF5 years ago