probing experiments | BriefGPT

关键词probing experiments

搜索结果 - 6

解析情绪：针对语音情感识别的全面多语言研究
使用八种语音表示模型和六种不同语言，该研究首次全面评估了基于 Transformer 的语音表示模型在跨多种语言的语音情感识别中的性能，并通过探索性实验揭示了这些模型的内部表征。实验结果表明，相较于使用所有层的语音模型特征的系统，仅使用语音
PDFa year ago
EMNLP仍可学习位置信息的 Transformer 语言模型无需位置编码
本研究探讨了基于因果变换的语言模型（LMs），例如 GPT-3，需要某种形式的位置编码，例如位置嵌入。然而，我们发现在没有任何显式位置编码的情况下，这样的 LM 与标准模型仍然具有竞争力，这一现象在不同的数据集、模型大小和序列长度中是鲁棒的
PDF2 years ago
EMNLP条件探测：在基线之外测量可用信息
研究神经表示在探测实验中的有效性并提出一种条件探测的理论，通过该理论研究发现在条件化非上下文单词嵌入后，部分性质如词性是可以在深层网络中被探测的。
PDF3 years ago
EMNLPBERT 可能太过复杂：一个基于残差卷积神经网络的小而有效的生物医学实体链接器
通过探究实体链接任务中基于 BERT 的模型的内在工作机制，我们提出了一个具有卷积神经网络和残差连接的高效模型，能够在拥有大约 60 倍更少的参数的情况下实现与现有最先进的 BERT-based 模型相当甚至更好的实体链接准确性。
PDF3 years ago
Multilingual BERT 的多语言能力如何？
研究表明，在零 - shot 跨语言模型转移方面，多语言 BERT（M-BERT）表现出惊人的性能，经过大量探究实验，证明转移甚至可以到不同文字的语言中，但它们会因特定的语言对而表现出系统缺陷。
PDF5 years ago
ACL从语言模型中探测生物医学嵌入
本文研究使用预训练的语言模型作为固定的特征提取器，并限制下游任务模型没有额外的序列建模层，探索在域内训练后的上下文词嵌入中携带的附加信息。结果发现，BioELMo 在编码实体类型和关系信息方面优于 BioBERT。
PDF5 years ago