decoding method | BriefGPT - AI 论文速递

关键词decoding method

搜索结果 - 5

通过上下文信息熵约束的自适应解码来辨别和解决知识冲突
大语言模型内部化了巨大的参数知识，在预训练期间。然而，逼真的应用需要外部的背景知识来帮助模型在底层任务上。本研究提出了一种自适应解码方法，称为上下文信息熵约束解码（COIECD），以确定是否发生知识冲突并解决它们。它可以提高模型对相冲突背景
PDF5 months ago
TPPoet：使用最小数据和高级解码技术的基于 Transformer 的波斯诗歌生成
通过在专业数据集上使用变压器架构训练一个波斯古典诗生成模型，并提出一种新的解码方法来增强生成的诗歌的连贯性和意义，有效地平衡多样性和质量，并通过全面的自动和人工评估证明了该方法相对于其他解码方法和现有的波斯大型语言模型具有更为卓越的生成连贯
PDF7 months ago
思考而后写作：假设验证促进忠实的知识到文本生成
神经知识到文本生成模型经常难以准确生成输入事实的描述，通过使用一种新的解码方法 TWEAK（在有效表达知识的同时思考），TWEAK 将每个解码步骤中的生成序列及其未来序列作为假设，并根据这些对应假设如何支持输入事实的准确性对每个生成候选进行
PDF8 months ago
给定对语言生成系统的黑盒访问权限后的逆向工程解码策略
我们通过反向工程解码方法，发现了文本生成时所使用的解码策略（例如 top-$k$ 或核心采样），这对于检测生成文本具有重要意义，并可揭示选择解码设置时造成的偏倚问题。我们对多种开源语言模型家族和生产系统（如 ChatGPT）进行了攻击。
PDF10 months ago
面向低资源抽象摘要生成的概览偏好分解技术
通过预训练语言模型建立的元学习框架，采用参数调节分解内容和偏好，并提出一种解码方法，可在只有少量的训练数据的情况下获得极好的效果，大幅提高了摘要生成质量。
PDFa year ago