exposure bias | BriefGPT - AI 论文速递

关键词exposure bias

搜索结果 - 41

扩散语言建模的承诺、展望与挑战
现代自回归型大型语言模型在自然语言处理基准测试中表现出色并应用于实际领域。然而，它们仍然受到自回归训练范式的一些限制。本文评估了最近提出的基于得分熵离散扩散 (SEDD) 的方法，并表明它是自回归生成的有希望的替代方案，但也存在一些不足之处
PDF13 days ago
使用动态准则改进自回归训练
为解决 NLP 任务中的暴露偏差和指标不匹配问题，本文提出了一种基于动态预示算法的解决方案，并开发了新型的动态预示算法，证明其在类似基于跨度的 F1 指标上保持了 DAgger 的无遗憾保证。作者评估了该算法在命名实体识别、文本摘要和机器翻
PDF17 days ago
让沉默发声：利用大型语言模型生成评论增强假新闻检测
通过采用大型语言模型作为用户模拟器和评论生成器，我们提出了 GenFEND，一种生成的反馈增强检测框架，通过为多个子人群组提示大型语言模型并聚合生成的评论，以做到多样化评论的可用性，尤其是来自沉默用户的评论。实验证明了 GenFEND 的有
PDFa month ago
降低鉴别器引导扩散模型中的曝光偏差
SEDM-G++ 结合鉴别器引导和 Epsilon 缩放的改进取样方法，解决了扩大偏差的持久问题，提高了生成图像的质量。
PDF7 months ago
训练和测试中的上下文一致性与同步机器翻译
机器同时翻译（SiMT）旨在实时产生一个具有单调增长源侧上下文的部分翻译。然而，存在一个关于训练和测试之间上下文使用的反直觉现象：例如，以 wait-k 一致训练的 wait-k 测试模型在翻译质量方面明显劣于以 wait-k'（k' 不等
PDF8 months ago
S2F-NER：探索用于复杂实体识别的序列生成森林
通过提出一种名为 S2F-NER 的新的 Sequence-to-Forest 生成模型，我们的研究论文在处理复杂的、嵌套的、重叠的实体时显著提高了准确性，比传统的 Seq2Seq 和基于跨度的分类方法更适应于长文本数据集，并且能有效解决曝
PDF8 months ago
对话生成的双层计划抽样
本文提出了一种双层预训练采样模型，结合句子级信息和单词级质量，并利用平滑函数将两者的综合结果映射到适当的范围，基于映射值进行概率采样。在 DailyDialog 和 PersonaChat 数据集上的实验证明了我们提出的方法的有效性，明显缓
PDF10 months ago
揭示扩散模型中的暴露偏差
扩散模型具有令人印象深刻的生成能力，但其所谓的 “曝光偏差” 问题，即训练和抽样之间的输入不匹配，缺乏深入探索。本文通过首先对抽样分布进行分析建模，然后将每个抽样步骤的预测误差归因为曝光偏差问题的根本原因，对扩散模型中的曝光偏差问题进行了系
PDF10 months ago
利用潜在语言扩散模型生成多样化段落的规划器
本文提出了组合自回归生成模型与潜在语义扩散的 PLANNER 模型用于全局控制段落文本生成，并在各种条件生成任务上进行了评估。结果表明，该方法有效地生成了高质量的长篇文本。
PDFa year ago
通过减轻曝光偏差来更新大型语言模型的自我信息
本文对 LLMs 的自我信息更新任务进行了全面的研究，并评估了其持续微调方法。作者发现，普通的持续微调方法可能存在暴露偏差问题。因此，他们提出了一种有效的方法来缓解这个问题，进一步开发了新闻文章数据集来评估信息更新。实验结果表明，所提出的方
PDFa year ago
通过时移采样缓解扩散模型中的暴露偏差
本文研究了扩散模型中存在的曝光偏差，并提出了一种名为 Time-Shift Sampler 的推理方法，该方法可以在不重新训练模型的情况下缓解曝光偏差，并通过实验结果证明了其有效性。
PDFa year ago
神经文本生成中的动态计划采样与模仿损失
本文介绍了一种基于 Dynamic Scheduled Sampling with Imitation Loss (DySI) 的神经文本生成模型，该模型通过引入模仿损失和动态调度表，解决了常见的曝光偏差问题，在标准机器翻译基准测试数据集上
PDFa year ago
KDD双向 Transformer 用于顺序推荐中解决 Cloze 任务偏差问题
本研究提出了一种新颖的倾向性评分机制，旨在纠正序列推荐中的暴露偏差，并实证了该方法对暴露偏差的鲁棒性。
PDFa year ago
Autoregressive 生成模型视为基于能量的模型能够更优化
本文介绍了一种名为 E-ARM 的独特方法，用于训练自回归生成模型。该方法利用了 softmax 操作的额外自由度，使得自回归模型本身成为一种测量输入可能性的基于能量的模型，从而提高了自回归生成模型的效果，并减轻了暴露偏差问题和增加了时间上
PDF2 years ago
ACL曝光偏差的重要性：语言生成中误差累积的模仿学习视角
本文探讨语言生成模型存在的问题，阐述了模型脆弱性产生的原因，并从模仿学习的角度分析暴露偏差。作者证实了该假设，通过分析误差积累的原因和导致质量低下的积累。
PDF2 years ago
EMNLP对话训练和推断之间的自适应桥梁
研究了在生成对话回复时曝光偏差问题及其可能导致的常见回复生成问题，提出了一种自适应开关机制，并使用余弦相似度等度量方法在中文和英文数据集上进行了实验，取得显著改进。
PDF3 years ago
EMNLP将神经文本退化与曝光偏差相关联
本文研究神经语言生成领域的两个问题：曝光偏差和文本退化，定量和定性分析了退化发生前的误差并探讨了它们对 GPT-2 文本退化的影响，结果表明这种文本退化有一部分原因是曝光偏差导致的，同时阐述了误差增强的自我强化机制。
PDF3 years ago
EMNLP利用弹性权重整合改进计划采样用于神经机器翻译
通过系统实验，本文发现 MaxML 存在的曝光偏差问题是 “抽样计划” 的缺点，该计划加剧了当推理时间的前缀是正确的时的性能下降，即灾难性忘记。因此，提出使用 “弹性权重合并” 方法来更好地平衡减轻曝光偏差与保持性能。在四个翻译数据集上的实
PDF3 years ago
无偏级联赌博机算法：降低在线学习排序推荐中的曝光偏差
本文针对基于多臂赌博机算法的在线推荐模型中的信息暴露偏差问题进行研究，分析了这些算法处理信息暴露偏差问题和提供公正的推荐结果的能力，并提出了一个折扣因子并将其纳入这些算法中，以控制每个时间步骤中商品的曝光率。在两个数据集上进行实验，并展示了
PDF3 years ago
去偏见的隐性反馈可解释的成对排名
本文针对 Bayesian Personalized Ranking 模型的黑箱模型、暴露偏差等两个局限进行改进，提出一种新的可解释且公平的推荐模型 Explainable Bayesian Personalized Ranking，并在三
PDF3 years ago