- 大型语言模型是怀疑论者:输入冲突妄想的假阴性问题
为了解决语言模型生成与输入上下文不一致的响应的偏见问题,本文揭示了一类新的偏见,即输入 - 冲突幻觉。通过实验证明,语言模型在评估语句的正确性时,更偏向于返回虚假的负面判断,表现出更强的过度自信,并研究了上下文和查询重写对于解决偏见问题的有 - ACL提升知识图谱中多跳逻辑推理的上下文感知查询表示学习
通过全面整合 FOL 查询图的上下文,我们提出了一种模型不可知的方法,增强了现有的多跳逻辑推理方法,在两个数据集上的实验中,我们的方法始终提升了三个多跳推理基准模型的性能,最高可达 19.5%。
- 利用 UltraGist 压缩长篇背景
压缩长度上下文的新方法 UltraGist 通过压缩和学习算法的创新设计,提高了对长上下文的高质量压缩,实现了压缩的灵活性、精细化压缩、训练样本有效利用和动态上下文的高效压缩。
- 隐含篇章关系预测中的句子邻居分析
提出了三种新的方法来整合上下文在句子关系预测任务中:(1)直接邻居、(2)扩展窗口邻居和(3)部分智能随机邻居。研究结果表明,在篇章关系分类任务中,超过一个篇章单元的上下文包含是有害的。
- 普通话中的词汇特定调音实现
这项研究揭示了普通话双字词的声调轮廓通常由组成的单字词的基本音调,在语音速率、与相邻音调的共同发音、音段结构和可预测性等因素对其施加的发音约束的作用下形成,并且显示出声调实现也部分取决于词汇的意义。
- CVPR室内全景自动去除家具
提出了一种利用稳定扩散的流程来改进室内全景图像中家具移除的修复结果,通过增加上下文、领域特定模型微调和改进的图像融合,产生几何可信的高保真修复效果,无需依赖于房间布局估计,展示了相对其他家具移除技术的定性和定量改进。
- 通过上下文引导增强个性化并减少偏见的 CoS
通过测量预测标记的可能性以及调控它,我们提出了适用于自动回归 LL 模型的简单无需训练的方法,被称为 CoS (Context Steering),使实践者能够根据其特定用例和终端用户群确定适当的上下文影响水平,并展示了 CoS 的各种应用 - 语言模型中的真值判断:信念方向是上下文敏感的
我们通过对大型语言模型的隐空间进行研究发现,先前的关于模型的 ' 知识 ' 或' 信念 ' 的研究方法可以基于其隐空间中的方向来构建探测器,而我们的实验结果表明这些探测器的预测可能与前面的(相关)句子有条件关联,并且这种信念方向可以影响推理 - 口语化头像系统的人类相应延迟对话回合
通过分析谷歌自然问答数据库,本文展示了 GPT-4 可在超过 60%的时间内从问题末尾的遗漏词语有效填补丢失的上下文,并探讨了这种信息损失对发展中的角色模型质量的影响,同时提出了使用简单分类器来确定是否需要填充短语以满足人类对话时间限制的问 - ACL多粒度引导的解码中融合
在开放领域问答系统中,为了避免检索到的结果中出现不相关和虚假的上下文,通过多层次的粒度来识别相关证据的融合解码器模型被提出,该模型在多任务学习的基础上,通过将显著的句子聚合为一个锚向量来指导解码器,并通过复用重排列结果来提高解码效率。实验证 - KoCoSa:韩语上下文感知讽刺检测数据集
该研究介绍了一个新的数据集,KoCoSa,用于韩语对话中的讽刺检测任务,并提供了用于该任务的基线系统。实验证明,基线系统在韩语讽刺检测任务中优于 GPT-3.5 等大型语言模型。
- 基于上下文的自监督视觉学习:利用环境作为数据来源
环境空间相似性方法(ESS)是一种独特的方法,通过在特定上下文中对自身进行勘探和跟踪,从而使智能体通过对其位置在连贯环境中的追踪来获取技能,ESS 方法在构造对比式学习中提供了历史空间上下文的相似性信号,并通过在模拟的逼真环境中使用图像作为 - 比较人本语言建模:模拟群体、个体特征还是两者兼顾更好?
自然语言处理在整合人类背景的模型方面取得了进展,但使用群体属性(例如超过 45 岁的人)还是个体建模更有效尚未确定。比较群体属性、个体用户和结合方法对建模人类背景的影响,发现群体和个体特征的组合显著改善了用户级回归任务,而个体用户建模显著提 - 重现语境:基于多模态知识图谱的相机陷阱物种识别作为链接预测
基于相机陷阱图像的物种识别中,通过在多模态知识图谱中进行链接预测,将异构上下文有效整合到视觉领域,以提高模型的样本效率和泛化性能。
- 如何评估文学文本中的指代关系?
我们研究了用于评估文本共指的主要度量标准及其限制,并提出了一种新的评估共指的方法,该方法考虑了上下文,特别是小说分析中的长共指链,短共指链和独立元素,以便通过评估获得更可解释和信息量更丰富的结果。
- 朝向上下文感知的领域泛化:用置换不变网络表示环境
输入 $X$ 的上下文信息可以改善深度学习模型在新领域或生产环境中的预测能力。我们提出了上下文的概念,作为一组数据点的排列不变表示,共同学习于标准监督学习目标,为未知结果提供增量信息。我们通过理论分析和实证评估证明了该方法的有效性,并对其鲁 - 关于大规模多模态模型对抗图像攻击的鲁棒性
通过对不同攻击方式的全面研究,本文发现大型多模态模型对于视觉对抗性输入并不具备鲁棒性,但给模型提供上下文(例如问答中的问题)可以降低视觉对抗性输入的影响。该研究还提出了一种新的真实世界图像分类方法,称为查询分解,通过将存在性查询融入输入提示 - MARRS: 多模态参考解析系统
通过介绍 MARRS(多模态引用解析系统)框架,本文提出了处理对话理解任务中的上下文问题的不同机器学习模型,其中一个用于引用解析,一个用于通过查询重写处理上下文,并描述了这些模型是如何协同工作以构建一个能够理解上下文并保护用户隐私的统一、简 - 一个新的韩文文本分类基准,用于识别在线报纸中的政治意图
在这项工作中,我们关注通过理解文本的上下文来自动识别给定在线报纸的政治意图。为了解决这个问题,我们提出了一个新颖的韩文文本分类数据集,其中包含各种文章,并提供了在该数据集上训练的基于深度学习的文本分类基线模型。
- EMNLP隐喻识别数据集中的建构工件
通过忽略潜在的比喻表达或其出现的上下文,本文展示了现有的比喻识别数据集如何被篡改。我们在各种数据集和环境中测试了这一假设,并表明基于语言模型的比喻识别系统在没有完整信息的情况下与使用完整上下文信息的系统具有竞争力,这是由于构建此类数据集的过