BriefGPT.xyz
大模型
Ask
alpha
关键词
probing task
搜索结果 - 5
视觉语言模型是否能够成为良好猜测器？探索 VLM 的时间和位置推理能力
本文通过引入 WikiTiLo 数据集，并实施两阶段的识别和推理探测任务，研究基于大规模图像 - 文本资源预训练的视觉语言模型是否能够像人类一样通过视觉线索推断图像的时间和地点，并发现 VLMs 虽然能够有效地保留视觉编码器中的相关特征，但
→
PDF
a year ago
预训练如何改善基于语篇的翻译？
本研究探讨了预训练语言模型在捕捉篇章关系上的能力，并通过探究任务验证了不同架构和层数的 PLMs 的表现，得出了对于不同 NMT 任务在何种情况下使用不同层的 PLMs 是最好的决策。
PDF
a year ago
检测分类和主题嵌入以获取分类信息
本文旨在了解嵌入式中如何结构性地编码分类信息，通过设计新的上位词 - 下位词探查任务并进行探查研究，我们发现分类嵌入式和主题嵌入式都会编码一些分类信息，但编码的数量和几何特性都独立于编码器架构和嵌入式训练数据。尤其是，我们发现只有分类式嵌入
→
PDF
a year ago
探究低资源语言句子嵌入：有关探究任务评估的结构设计选项
通过研究嵌入式语句在较少语言资源环境下的探测技术，揭示了探测数据集规模和分类器等结构设计选择对探测结果影响很大，同时，强调英语探测结果无法转移至其他语言，未来应进行更公平和全面的多语言句子级探测任务评估。
PDF
4 years ago
EMNLP
鸟有四条腿？！NumerSense：探究预训练语言模型的数值常识知识
本文旨在探讨预训练语言模型（PTLMs）是否具备数值常识知识，并介绍了一个诊断数据集 NumerSense 用于评估 PTLMs 的性能，结果表明：（1）BERT 和 RoBERTa 表现不佳（2）通过有监督学习可以有所提升（3）最佳的监督
→
PDF
4 years ago
Prev
Next