decoding methods | BriefGPT

关键词decoding methods

搜索结果 - 14

REAL 采样：通过渐近熵促进开放式生成的准确性和多样性
本文提出了一种名为 REAL（Residual Entropy from Asymptotic Line）采样的解码方法，通过预测自适应阈值 $p$，实现了比核心采样更好的准确性和多样性。实验结果表明，结合对比解码后，REAL 采样优于 9
PDF21 days ago
基于 LLMs 时代的解码方法全面研究
该研究通过全面而多方位的分析，评估了大型语言模型在各种任务、模型和部署环境下的解码方法的性能表现、对超参数变化的鲁棒性和解码速度，发现解码方法的性能与任务相关，并受到对齐、模型规模和量化等因素的影响。有趣的敏感性分析揭示了某些方法在广泛超参
PDF5 months ago
缩小知识评估差距：多层次答案的开放领域问题回答
标准问答评估协议未考虑到答案的多粒度性质，与单一粒度的参考答案进行比较。本研究提出 GRANOLA QA 评估设置，用于多粒度答案的准确性和信息量评估。通过对现有数据集进行改进，建立了 GRANOLA-EQ 多粒度实体问题数据集，并在 GR
PDF6 months ago
AAAI脑优化推理改进功能磁共振成像的脑活动重建
通过优化解码方法，将重构结果与脑活动一致性结合，通过迭代优化小样本图像库，我们证明了脑优化推理在改善重构质量和探索视觉脑区不同表征多样性方面的潜力。
PDF7 months ago
空气解码：编码时间可控文本生成的属性分布重建
我们提出了一种名为 Air-Decoding 的新型轻量级解码框架，该框架通过重构属性分布来平衡属性单词和非属性单词之间的权重，从而生成更流畅的文本，有效避免了属性崩塌问题，实验结果表明我们的方法实现了最先进的控制性能。
PDF8 months ago
语言模型解码作为直接度量优化
通过在语言模型中引入优化问题的框架，我们提出了一种新的解码分布，该分布通过序列级能量函数定义多个度量标准来改善与人类文本的语义一致性，实验证明我们的方法在与人类文本的度量标准一致性和人类评估方面优于强基准模型。
PDF9 months ago
自回归手语制作：基于离散表示的无词汇化方法
该论文介绍了一种利用向量量化从手语姿势序列中得出离散表示的手语矢量量化网络的新方法，该方法支持高级解码方法，并整合了潜在级别的对齐以增强语言的一致性，并通过综合评估证明了该方法优于之前的手语生产方法的卓越性能，并突出了反向转译和 Fréch
PDF9 months ago
MBR 和 QE 微调：训练时间中最佳和最昂贵解码方法的蒸馏
通过在推论阶段使用高效解码算法并在训练阶段提炼质量收益，提出了 MBR（最小贝叶斯风险）微调和 QE（质量评估）微调方法，通过使用自我训练模型和外部 LLM（语言模型）作为教师模型，这些微调方法在自然语言生成（NLG）任务中达到了比人生成参
PDF9 months ago
PairReranker: 自然语言生成的配对重排序
通过对三种自然语言生成任务的实证分析，提出了一种新的 NLG 后处理方法 PairReranker，并证明其能够显著提高性能及适用于 GPT-3。
PDF2 years ago
跟随群体智慧：通过最小贝叶斯风险解码实现有效的文本生成
本文介绍了一种基于贝叶斯风险最小化方法的众包采样技术，用于解决自然语言生成中多样性和高质量之间的折中问题，实验结果表明在多项任务中取得了新的最优结果。
PDF2 years ago
EMNLPSentBS：用于可控摘要的句子级束搜索
本文提出了一种基于句子级别的 beam search 方法的生成方法（SentBS），其中在生成过程中进行评估以选择适合后续生成的句子，旨在提高结构受控文本生成的效果，实验证明该方法可显著减少现有模型所遭受的约 68％的结构差异，并在结构控
PDF2 years ago
算术采样：大型语言模型的并行多样解码
本文介绍了一种适用于大型语言模型的解码方法，可以在保持输出多样性的同时实现并行计算，并在 WMT 机器翻译任务中取得了明显提高。
PDF2 years ago
TURJUMAN：用于神经阿拉伯语机器翻译的公共工具包
TURJUMAN 是一个神经工具包，可将 20 种语言翻译成现代标准阿拉伯语（MSA）。我们使用 AraT5 模型进行训练，并使用多种解码方法，使其适用于获取 MSA 翻译的释义。我们还通过简单的语义相似性方法从公共可用的平行数据中采样，以
PDF2 years ago
EMNLP神经响应生成中的输出风格和主题控制
本文提出了神经编码器 - 解码器的语言生成模型中对输出风格和主题进行干预的简单灵活的训练和解码方法，通过基于选择性采样的解码方法和遵循性模型将神经生成过程分解为易于实现的子问题，同时通过一定限制方式和主题限制进行生成，该方法在人机交互任务中
PDF7 years ago