positional bias | BriefGPT - AI 论文速递

关键词positional bias

搜索结果 - 8

SIFo 基准测试：探索大型语言模型的顺序指令跟随能力
评估大型语言模型（LLMs）遵循多个指令的能力面临诸多挑战，为解决这些问题，我们引入了一个基准测试，通过顺序指令跟踪任务评估模型的遵循多个指令的能力。
PDF6 days ago
LLM 长文本语境失误的洞见：当转换器知道但不透露
大型语言模型（LLM）存在位置偏差，难以利用长篇上下文中间或结尾的信息。我们的研究通过探测其隐藏表示来探究 LLMs 的长篇上下文推理能力。我们发现，虽然 LLMs 编码目标信息的位置，但在生成准确回答时往往未能充分利用这一特性。这揭示了信
PDF14 days ago
大型语言模型在扩散模型中的提示编码作用探索
利用新提出的框架，将大型语言模型与文本到图像生成模型灵活地集成在一起，并通过消除固有的位置偏差和增强文本表示能力提高预测性能。
PDF17 days ago
锚定答案：揭示 GPT-2 在多项选择问题中的位置偏差
通过利用机械解释性方法，研究人员发现并修改 GPT-2 模型内部造成 MCQs 错位偏差的特定数值向量，从而显著提高 GPT-2 模型对 MCQs 的预测准确性。
PDF2 months ago
减少 LLM 中的位置偏倚的定位感知参数高效微调方法
通过开展广泛的实验证明，我们提出的 Position-Aware Parameter Efficient Fine-Tuning 方法能够减少大型语言模型中的位置偏差，从而提高处理长上下文序列的效果，并改进对需要从外部检索知识的各种任务的表
PDF3 months ago
大型语言模型不稳定的推荐系统
通过探索性研究，我们发现 LLMs 中的位置偏差会影响推荐系统的性能，因此我们提出了一个贝叶斯概率框架来校准 LLMs 的不稳定性，并增强推荐性能，实验证明了框架的有效性。
PDF6 months ago
中间发现：排列自一致性提升大型语言模型的列表排名
大型语言模型 (LLMs) 在使用上下文方面存在位置偏倚，尤其是在列表排序方面。为解决这个问题，我们提出了置换自一致性，这是一种对黑盒 LLMs 的排序列表输出的自一致性形式。我们的关键思想是通过将提示中的不同列表顺序边际化来产生一个无序偏
PDF9 months ago
EMNLP循环神经网络中的池化分析：何时以及为何应该使用池化？
本论文研究使用 Pooling 的循环神经网络（Recurrent Neural Architectures）相对于不使用 Pooling 的神经网络有更好的性能的原因。作者发现，不同的 Pooling 技术的效果有所不同，并提出了一种新的
PDF4 years ago