Viterbi 序列标记的低秩隐藏状态嵌入

ICMLAug, 2017

Viterbi 序列标记的低秩隐藏状态嵌入

Low-Rank Hidden State Embeddings for Viterbi Sequence Labeling

Dung Thai, Shikhar Murty, Trapit Bansal, Luke Vilnis, David Belanger...

TL;DR本文提出了一种通过学习嵌入式的潜在输出结构来解决长期标签依赖性的方法，并在 CoNLL 命名实体识别任务中证明了准确性和可解释性。

Abstract

In textual information extraction and other sequence labeling tasks it is now common to use recurrent neural networks (such as LSTM) to form rich embedded representations of long-term input co-occurrence patterns. Representation of output co-occurrence patterns is typically limited to

recurrent neural networks embedded representations latent variable crf sequence data named entity recognition

发现论文，激发创造

数据增强方法对命名实体识别是否适用于不确定性估计？

通过数据增强来提高命名实体识别的置信度校准和不确定性估计，在安全关键领域如医疗保健和金融中应用深度神经网络时实现准确的预测非常重要。本研究发现数据增强在跨领域和跨语言的环境中，尤其是在领域内环境中，可以改善命名实体识别的置信度校准和不确定性。此外，研究还表明，当通过数据增强生成的句子的困惑度较低时，命名实体识别的置信度校准更为有效，并且增加增强的规模可以进一步改善置信度校准和不确定性。

Jul, 2024

非线性动力系统学习的度量熵极限

该研究论文主要讨论非线性动力系统学习的基本限制，以及循环神经网络在满足 Lipschitz 属性且以最佳度量 - 熵方式快速遗忘过去输入方面的应用，通过计算相关指标，证明了 RNN 可以实现指数衰减和多项式衰减 Lipschitz 的消退记忆系统。

Jul, 2024

架起桥梁：从英文 PLM 到马来西亚英文的迁移学习

通过使用经过专门定制的预训练语言模型 MENmBERT 和 MENBERT，在马来西亚英语文本中实现了命名实体识别 (NER) 和关系抽取 (RE) 任务方面的显著改进，这证明在低资源环境中，预训练模型在特定语言和地理焦点文本上的表现有望提高。

Jul, 2024

展示更少，指导更多：以定义和指南增强用于零 - shot NER 的提示

SLIMER 是一种新的指导性指令型大型语言模型，通过使用定义和指南的提示改进了零样本命名实体识别，在未曾见过的命名实体标签上表现更好，并且在域外零样本 NER 方面表现与最先进的方法相当，同时训练数据减少。

Jul, 2024

大型语言模型在令牌级临床命名实体识别中的困难

本研究探讨了专有和本地大型语言模型在基于标记的临床实体识别中的有效性，挖掘了这些模型在零样本提示、少样本提示、检索增强生成以及指令微调等实验中面临的困难，并提出了在医疗保健领域中应用大型语言模型的可能改进方法。

Jun, 2024

BioMNER：用于生物医学方法实体识别的数据集

本研究提出了一个新的生物医学方法实体识别数据集，利用自动化的生物医学方法实体识别和信息检索系统来辅助人工注释。此外，我们全面探索了一系列传统和现代的面向开放领域的命名实体识别方法，包括针对我们数据集进行定制的最新大规模语言模型（LLMs）的使用。我们的实证研究发现，令人惊讶的是，语言模型的大参数数量阻碍了与生物医学方法相关的实体提取模式的有效吸收。显著地，结合条件随机场（CRF），利用体积适中的 ALBERT 模型（仅 11MB），取得了最先进的性能（SOTA）。

Jun, 2024

注释错误与 NER：OntoNotes 5.0 研究

该研究通过使用三种简单技术在 OntoNotes 5.0 语料库中检测注释错误，对英文命名实体识别（Named Entity Recognition，NER）的训练集、开发集和测试集进行了大量修正，提高了 1.23% 的整体 F 分数，对某些实体类型的改进超过 10%。这些技术可应用于其他 NER 数据集和其他序列标记任务。

Jun, 2024

基于 Transformer 的命名实体识别与数据表示的结合

该研究通过研究基于 Transformer 的模型及其在命名实体识别任务中的有效性，探讨了数据表示策略，包括单句、多句和上下文，并分析了使用单一策略训练模型可能导致在不同数据表示上表现不佳的问题。为了解决这个局限性，该研究提出了一种结合训练过程，利用这三种策略来提高模型的稳定性和适应性。该方法的结果在四种语言（英语、波兰语、捷克语和德语）以及各种数据集上进行了展示和讨论，证明了这种结合策略的有效性。

Jun, 2024

从语音的声学特征预测个体的抑郁症状

使用语音的声学特征，通过卷积神经网络和循环神经网络，预测出抑郁评分表中各个项的结果，并进一步检测出抑郁情况。

Jun, 2024

基于神经贝叶斯估计的认知模型的潜变量序列识别

从计算认知模型中提取变化的潜在变量是模型基础神经分析的关键步骤，我们提出了一种方法，通过递归神经网络和模拟数据集，将神经贝叶斯估计扩展到学习实验数据和目标潜在变量空间之间的直接映射，从而在可处理和难度较大的模型中推断潜在变量序列，该方法适用于不同的计算模型和连续离散潜在空间，并在实际数据集中证明了其适用性。

Jun, 2024