- EMNLPAdapterHub:适应 Transformer 的框架
论文提出了 AdapterHub 框架,该框架建立在 HuggingFace Transformers 库之上,用于动态添加不同任务和语言的预训练 Adapter,以避免对整个模型进行完全微调。该框架使得下载、分享和训练 Adapter 尽 - ACL语义角色标注的结构调整
本文提出了一种结构调整框架,以在训练时通过软化约束来提高模型性能,利用神经网络的表达能力和具有结构化损失的监督学习组件,通过实验证明可以在语义角色标注任务中取得比 RoBERTa 等基线更好的结果,并在低资源情况下实现了持续改进。
- ICLR低资源命名实体识别的远程监督和噪声标签学习:哈萨语和约鲁巴语研究
研究对在开发中国家使用的 Hausa 和 Yoruba 两种语言开展命名实体识别,发现能够成功利用远程监督提高分类器的性能,并比较不同的嵌入方法。
- EMNLP多语言训练和多树库学习的跨语言分析:法罗语案例研究
本文探讨了跨语言依存句法分析在低资源情景下的重要性以及不同的项目转移方式,并发现在 Faroe 语上,从多个单语源模型投影的单词最终产生的最佳结果是通过在目标语言上训练多树库词性标注和分析模型然后从单语源分析模型投影得出的。
- 对于真正低资源语言中形态学任务的子词信息的重要性
本研究探讨了在低资源环境下,子词信息对单词表示学习的有用性以及其在细粒度实体类型、形态标注和命名实体识别等三个典型形态学任务中的应用价值,结果表明,子词信息可以普适地提升单词表示,但其效果受语言类型和任务的影响,同时,训练单词嵌入和基于任务 - ACL基于依赖感知自注意力机制的机器翻译增强
本文研究了将句法知识纳入 Transformer 模型的不同方法,并提出一种新的、无需参数的依赖感知自注意机制,能够提高其翻译质量,特别是在长句子和低资源情况下。作者在 WMT 英德、英土和 WAT 英日翻译任务中展示了每种方法的有效性。
- EMNLP低资源机器翻译中的语法差异处理
本文提出一种简单但有效的方法,即将目标语句重新排序以匹配源语序,并将其作为另外一种训练时的监督信号,从而在模拟低资源日语 - 英语和真实低资源维吾尔 - 英语语种中获得显着改进。
- EMNLP探索元学习算法在低资源自然语言理解任务中的应用
本研究探讨了基于元学习算法的模型无关元学习算法(MAML)及其变体,以解决低资源自然语言理解任务中现有方法表现不佳的问题,并在 GLUE 基准测试中验证了该方法的有效性。
- COLING美洲土著语言的语言技术挑战
本文回顾了关于美洲土著语言的研究、数字资源和现有的自然语言处理(NLP)系统。并呼吁在像美洲一样语言丰富和多样的区域开展 NLP 研究,以解决诸如远离语言和资源匮乏等主要挑战和研究问题。
- 双向神经机器翻译与合成平行数据
本论文提出一种结合了回译和多语言神经机器翻译技术的新技术,通过为一个语言对训练一个模型来改善在低资源和跨领域情况下的机器翻译效果,并且能显著降低培训和部署成本。
- ACL无需语音识别的语音到文本翻译
本文探讨语音转文本翻译的问题,使用无监督术语发现技术将音频文件转化为伪文本,并使用其进行简单的词袋机翻译,面对跨讲话者无监督术语发现的难题,系统实现了低召回率的跨语音翻译。