HIT: 一种分层融合的深度注意力网络，用于鲁棒的混合语言表示

ACLMay, 2021

HIT: 一种分层融合的深度注意力网络，用于鲁棒的混合语言表示

HIT: A Hierarchically Fused Deep Attention Network for Robust Code-mixed Language Representation

Ayan Sengupta, Sourabh Kumar Bhattacharjee, Tanmoy Chakraborty, Md Shad Akhtar

TL;DR本文提出了 HIT 作为一种针对码 - 混合文本的健壮的表示学习方法，该方法用层次化 transformer 框架来抓取词语间的语义关系，并使用融合注意机制来层次性地学习句子级别的语义。实验结果表明，HIT 在 11 个数据集上的 4 个 NLP 任务中显著提高了性能，并且在迁移学习环境中显示了学到的表示的适应性。

Abstract

Understanding linguistics and morphology of resource-scarce code-mixed texts remains a key challenge in text processing. Although word embedding comes in handy to support downstream tasks for low-resource languages, there are plenty of scopes in improving the quality of language repres

code-mixed texts representation learning transformer-based framework multi-headed self-attention transfer learning

发现论文，激发创造

利用分层 Transformer 深入理解混合编码语言语义

采用分层变压器的架构（HIT）学习混合代码语言的语义和语法结构，在 17 个数据集和 9 个自然语言处理任务中，HIT 模型都表现出超越最先进的代码混合表示学习和多语言模型的性能。

Apr, 2022

HiT：层次化动量对比视频 - 文本检索的 Transformer 模型

提出了一种新的名为 Hierarchical Transformer (HiT) 的方法，其中包括 Hierarchical Cross-modal Contrastive Matching 和 Momentum Cross-modal Contrast 的元素，以解决现有交叉模式 Transformer 方法存在的局限性，并在三个主要的 Video-Text 检索基准数据集上实现了优越的实验结果。

Mar, 2021

HittER: 分层 Transformer 用于知识图谱嵌入

本文针对多关系知识图谱中实体和关系的学习表示问题，提出了一种基于分层 Transformer 模型的方法，该方法可以联合学习实体关系组合和基于源实体社区的关系上下文。实验结果表明 HittER 模型在多个链接预测数据集上取得了最新的最优结果。此外，我们还提出了一种简单的方法将 HittER 集成到 BERT，并在两个 Freebase 问答数据集上证明了其有效性。

Aug, 2020

HiTIN: 面向分层文本分类的层次感知树同构网络

本文提出了 Hierarchy-aware Tree Isomorphism Network (HiTIN) 模型，该模型仅利用标签层次的句法信息增强文本表示，并成功在多个数据集上实现了良好的表现和更少的内存消耗。

May, 2023

基于注意力机制的神经机器翻译双向分层表示

本文提出了一种层次注意机制的神经翻译模型，采用双向树形编码器来增强源端层次表示，用加权变异的注意机制平衡词汇和短语向量之间的信息，通过树形稀有词编码将该模型扩展至亚字级别以缓解词汇缺失的问题，实证结果表明，该模型在英汉翻译任务中显著优于序列到序列的注意力机制和基于树的神经翻译模型。

Jul, 2017

嵌入式异构关注变换器用于跨语言图像字幕生成

我们提出了一种嵌入的异构关注转换器（EHAT），用于建立跨领域的推理路径，以进行跨语言图像字幕生成，并集成到变压器中。EHAT 由掩蔽的异构交叉关注（MHCA）、异构关注推理网络（HARN）和异构协同关注（HCA）组成，在编码器中通过特殊的异构关注实现跨领域集成，并使单个模型生成两种语言的字幕。我们在 MSCOCO 数据集上进行了测试，生成英文和中文，我们的实验证明，我们的方法甚至超过了先进的单语方法。

Jul, 2023

将全局和局部层次信息植入基于序列的代码表示模型

本文探讨了代码序列中层次结构对令牌的影响，并将其抽象为代码令牌的一个属性。我们提出了一种简单但有效的模型 HiT，将完整的层次结构嵌入源代码序列。实验证明，层次嵌入可用于学习代码结构，并在多个数据集上的分类和生成任务中显示出 HiT 性能的稳定训练效率。

Mar, 2023

语言模型作为层次编码器

利用超几何空间重新训练语言模型中的分层转换器编码器（Hierarchy Transformer encoders，HiTs），为回归语言模型中隐含的分层结构提供了一种新的方法，通过聚类与层级组织相关实体来提高在推论、预测和跨层次知识传递等任务中的性能和可转移性。

Jan, 2024

用于可解释 ICD 编码的层级标签关注 Transformer 模型

本文提出了一种基于层次化标签关注 Transformer 模型（HiLAT）的方法，用于从医疗文件中解释预测 ICD 代码。研究结果表明 HiLAT 与 ClinicalplusXLNet 相比在 MIMIC-III 中的前五十个 ICD-9 代码的 F1 得分更高，且关注权重的可视化表现出潜在的解释性工具。

Apr, 2022

探索文本到文本变换器的使用，实现英语到印地语机器翻译的合成混合代码技术

本研究尝试解决单语言和混合编码语言之间的翻译问题，针对单语英文到 Hinglish 的转换，我们提出了多种模型，其中使用事先训练的 mT5 和 mBART Transformer-based 编码器 - 解码器模型表现良好。同时，我们还提出了一种生成混合编码文本的无依存方法，并采用课程学习方法来提高语言模型性能。在不同的条件下，我们发现综合考虑有监督和无监督方式的生成代码混合技术竞争力强，在英语 - Hinglish 官方共享任务中我们的模型效果最佳。

May, 2021