- 探索 Transformer 潜空间几何对下游任务性能的影响
我们提出了一个新的方法,通过研究 BERT 类型模型的潜在空间的几何特征,来探索预训练对 GLUE 基准任务表现的影响,并发现潜在空间的量化细胞密度与 GLUE 性能有着强烈的线性关系,这些结果表明可以减少预训练要求,通过模型潜在空间的几何 - IJCAI基于场景引导适配器的自然语言推理中解决词语模糊问题
我们提出了一种名为 ScenaFuse 的创新型适配器,它同时整合了大规模的预训练语言知识和相关的视觉信息,用于自然语言推理 (NLI) 任务,从而弥补了传统 NLI 模型仅依赖于独立句子中的语义信息、缺乏相关情境视觉信息的不足,提高了 N - FPT:用于少样本可读性评估的特征提示调整
我们提出了一种新的基于提示的调优框架,称为特征提示调优(FPT),它结合了丰富的语言知识,通过从文本中提取语言特征并将其嵌入可训练的软提示,进一步设计了一种新的损失函数来校准类别之间的相似度排名顺序,实验证明我们的方法在诸多方面均显著提高了 - 雇佣一位语言学家!:通过上下文语言描述学习濒危语言
我们提出 LINGOLLM,一种无需训练的方法,使大型语言模型能够处理在其预训练中几乎不出现的未知语言,从而大大提高了翻译能力。
- 高效利用语言先验进行场景文本定位
通过利用大型文本语料库中的语言知识,替换自回归场景文本定位和识别模型中传统的独热编码,提高了场景文本定位和识别性能,并实现了更准确的词语定位。
- COLING语言知识可以增强编码器 - 解码器模型(如果你愿意)
本文探讨了将预训练的编码 - 解码模型(特别是 T5)与语言知识相结合用于预测目标任务时的影响。我们研究了在预测句子的结构语言属性的中间任务上微调 T5 模型是否会改变其在预测句子级复杂性目标任务上的性能。我们的研究包括在意大利语和英语数据 - 将语言知识注入 BERT 用于对话状态跟踪
通过无监督框架从语言知识中提取信息,并利用该知识增强和解释 BERT 在对话状态追踪任务中的性能,进而实现对 DST 模型决策过程中影响其性能的语言特征的全面理解。
- EMNLPLing-CL: 通过语言学教学计划理解 NLP 模型
通过分析多个基准 NLP 数据集,我们的课程学习方法识别到了一系列语言度量(指标),这些指标揭示了每个任务所需的挑战和推理,从而使得我们的工作在所有 NLP 领域中提供了未来研究的参考,并且在研究开发过程中早期考虑了语言复杂性。此外,我们的 - 边界检测测试数据集中注释伪装的含义
Edge probing tests reveal biases in commonly used datasets and demonstrate the significant difference between LLM encode - 语言知识能够改善视觉 - 语言预训练中的多模态对齐吗?
研究探讨了多模态预训练神经网络模型在视觉语言相关方面的影响,设计并发布了 SNARE 多模态对齐基准,分析了五种先进的视觉语言模型的综合性能。
- 基于多语言上下文的语音合成中文字发学习
该研究提出了一个多语种统一的前端系统,通过建模语音信息和语言知识,在处理发音相关任务时取得了有竞争力的结果。
- ECCV多层次学习融合的场景文本识别预测
通过结合语言知识和视觉模型,本研究提出了一种基于 Vision Transformer 和 Multi-Granularity Prediction 的 MGP-STR 算法,用于场景文本识别,取得了优异的识别结果。
- SpeechGLUE:自监督语音模型能否有效获取语言知识?
本研究探讨了自监督学习技术对于语音表示及其所携带的语言信息的捕捉能力,并通过 SpeechGLUE 基准测试说明了此技术在语言理解任务方面表现不如基于文本的自监督学习,但优于基准模型,展示了它从无标签的语音数据中能够获取特定数量的语言能力。
- 基于提示的方法可能会低估大型语言模型的语言泛化能力
本文比较了元语言激励和直接概率测量作为衡量英语知识的方法,并发现大语言模型的元语言判断低于直接从表示中派生出的数量。
- IJCAI语境增强:迈向高效准确的场景文本识别
提出了一种基于 $ extbf {LVP}$ 的语言感知视觉模型,通过级联式优化和语言信息挖掘解决了基于纯视觉的识别模型在注意力漂移和部分视觉缺失情况下识别率低的问题,并在保持低复杂度的同时达到了最佳性能。
- 多词语表达对英语到 Bharti 盲文机器翻译的影响
本文介绍一种改进了的英文到 Bharti 盲文的机器翻译系统,通过添加语言知识和翻译多词表达式子模块实现了对 NMT 模型的改进,目标语言为五种印度语言,英印语言对翻译质量最高达到 23.30% 的提高。
- 基于图模型的跨模态信息融合技术在神经手语翻译中的应用
该研究提出了一种新颖的神经翻译模型,基于动态图和多模态特征融合,结合手语语言学上的语意信息,以解决其它神经模型中可能存在的语意信息缺失问题。实验表明该模型可以在手语翻译方面取得更好的效果。
- EMNLPIELM:面向预训练语言模型的开放式信息抽取基准测试
本文介绍了一种新的基于预训练语言模型的开放信息抽取基准测试,并证明该基准测试可以通过将预训练语言模型转化为零样本抽取系统,充分检查模型中存在的开放关系信息。
- 单词边界对于无监督语言学习是否有用?
本论文系统比较了不同输入单元(字符、音素、词、词部分)对基于物理词或物理词段的语言模型的影响,并使用三个语音调整的黑盒 NLP 心理语言学基准(pWUGGY、pBLIMP、pSIMI)在词汇、句法和语义层面上探测网络中的语言知识。研究发现, - ECCV场景文本识别的多粒度预测
本文旨在解决场景文字识别中的挑战性问题,通过引入 Vision Transformer,构建了一个概念简单而强大的模型,同时通过提出一种多粒度预测策略,将语言模态的信息融合到模型中,从而将每个子词表示与常规字符表示结合起来,使 STR 性能