contextual word representations | BriefGPT

关键词contextual word representations

搜索结果 - 13

使用类人开发数据文集预训练 LLMs
利用与儿童所见的单词数量大致相同的单词数量，我们对大型语言模型进行预训练和评估，以学习上下文词表示，其中比较了不同架构、不同训练轮次的性能变化以及与任务组织者给出的 RoBERTa 基准的训练稳定性和可复现性。
PDF8 months ago
通过调整负样本来惊人地改进零翻译
通过对零样本翻译中的语言 ID 导航能力进行实验和分析，本研究提出了一种新的方法，通过对负样本进行概率调整来最小化偏离目标翻译的可能性，从而改善零样本翻译模型的性能。
PDF9 months ago
CAPOT: 使用后训练对比对齐创建鲁棒性密集查询编码器
本文介绍一种名为 Contrastive Alignment POst Training (CAPOT) 的高效微调方法，可在不需要索引重建，训练集优化或更改的情况下提高模型的稳健性。
PDFa year ago
AAAI利用向量隐写术进行可解释的文本表示隐私保护
该论文旨在研究和开发可解释的方法，将隐写术方法与向量几何相结合，以混淆潜在的虚假关联，并保留训练期间学习到的分布语义属性，以实现文本表示数据隐私保护。
PDF3 years ago
EMNLP微调对嵌入空间几何结构的影响：以等向性为例的案例研究
分析 fine-tuning 预训练语言模型后嵌入空间异构性的变化，证明 fine-tuning 并不能使嵌入空间的等向性增强，还发现 fine-tuning 会导致预训练的 CWRs 中的局部结构发生巨大变化，使得原有的等向性增强方法失效
PDF3 years ago
ACL一种基于簇的方法用于改善上下文嵌入空间的等向性
本文提出了一种基于局部聚类的方法来应对上下文嵌入空间中的退化问题，实验证明该方法可以在多个任务上缓解该问题。
PDF3 years ago
LMMS Reloaded: 基于 Transformer 的语义嵌入用于消歧和更多应用
该研究介绍了如何使用神经语言模型，通过从所有层收集信息生成感知嵌入，并展示了这些嵌入的多种领域应用，特别是在词义消歧任务中，提出的方法通过对 14 个神经语言模型变体的分析，在准确性和任务多样性方面实现了改进。
PDF3 years ago
EMNLP帕累托探测：以复杂度为代价平衡准确性
通过引入 Pareto hypervolume 作为评估度量和依赖文法分析作为更难的探针任务，从而探究探针评估下的文本语言结构和语义表示的性质和限制。
PDF4 years ago
评估情境化单词表征中的社会和交叉偏见
本文分析了最先进的语境词表示模型，如 BERT 和 GPT-2，对于性别，种族和交叉身份认同的偏差情况，并提出了一种新颖的方法对词语级别上的偏差进行评估。
PDF5 years ago
EMNLP知识增强的上下文词表示
提出了一种用多个知识库来加强大型模型表示的方法，每个知识库都通过一个集成实体链接器来检索相关实体嵌入，然后通过单词与实体关注的形式更新上下文单词表示，经实验发现知识增强的 BERT 模型具有更好的性能，且运行时间与 BERT 相当。
PDF5 years ago
ACL上下文表示的语言知识和可迁移性
该论文研究了利用大规模神经语言模型生成的上下文词表示对于自然语言处理任务的有效性及其可迁移性。结果表明，虽然这些表示在许多任务中表现出色，但对于需要细粒度语言知识的任务（如连词识别）而言，它们还不能胜任。此外，作者还比较了不同预训练和监督预
PDF5 years ago
ACL多语境语境表示改善跨语言转移
通过使用 Rosita 方法，我们训练了一个单一的语言模型，从多种语言的文本中产生了多语种上下文词表示。我们应用这种方法于英语 / 阿拉伯语和英语 / 汉语等不同语言对的建模，并应用于依存句法分析、语义角色标记和命名实体识别，与单语言和非上
PDF5 years ago
ACL跨语言迁移学习用于多语言任务导向的对话
本文讨论了在任务导向的对话系统中如何识别用户意图和相应的插槽，并通过多种跨语言转移方法进行数据集训练比较
PDF6 years ago