May, 2024

脑电图转文本模型是否有效？

PDF
TL;DR通过对开放词汇的脑电图到文本翻译模型进行关键性分析，发现以往的研究往往在评估过程中使用隐式教师强迫来人为提高性能指标，且缺乏对纯噪声输入下模型性能的关键性基准比较。我们提出了一种可区分真正从脑电信号中学习与仅仅记忆训练数据的模型的方法。我们的分析显示，模型在噪声数据上的性能可以与在脑电数据上相媲美。这些发现强调了 EEG-to-Text 研究需要更严格的评估方法，强调透明报告和与噪声输入进行严格基准测试。这种方法将能够更可靠地评估模型能力，并为健壮的 EEG-to-Text 通信系统铺平道路。
open-vocabulary eeg-to-text translationimplicit teacher-forcingbenchmarkingreliable assessmentsrobust eeg-to-text communication systems
发现论文，激发创造
  • 神经机器翻译中的不确定性分析

    本研究提出了工具和度量方法来评估机器翻译模型中数据不确定性的捕捉，以及这种不确定性如何影响生成翻译的搜索策略。我们的结果表明，搜索功能表现出色，但模型往往在假设空间中分散了太多的概率质量。此外，我们还提出了评估模型校准的工具，并展示了如何轻松解决当前模型的一些缺陷。

    Feb, 2018

  • 从视觉文本表示实现鲁棒性开放词汇翻译

    本文提出了使用视觉文本表示（visual text representations）替代有限的文本嵌入向量（finite set of text embeddings），以建立起使用连续词汇（continuous vocabularies）的翻译模型，以此提高模型的稳健性减少了噪声对模型的影响。实验证明，使用视觉文本表示的模型在小型和大型数据集上实现了与传统文本模型相当或更好的表现。

    Apr, 2021

  • 基于实证误差建模的神经序列标注方法提升噪声下鲁棒性能

    本文在处理嘈杂的文本数据或 OCR 输出时，提出了改进的噪声感知训练方法，并通过一种从无误文本翻译为有误文本的序列对序列模型，提出了实证误差生成方法。利用 OCR 引擎生成大型平行文本语料库进行训练，针对错误序列标注数据集提出了多种真实世界的噪声序列标注基准。通过学习基于噪声语言模型的嵌入，可以克服文本输入不完美时数据稀疏性问题。我们的方法在错误的序列标注数据集上优于基线噪声生成和错误修正技术，为未来的鲁棒性研究提供了帮助，我们作为开源项目提供了我们的代码、嵌入和数据转换脚本。

    May, 2021

  • 干净与嘈杂语音转录的强健神经机器翻译

    本文研究如何使强 NMT 系统适应典型 ASR 错误，并提出适应策略以训练单一系统，能够在无监督输入类型的情况下翻译干净或嘈杂的输入。通过公共演讲翻译数据集的实验结果表明，对包括 ASR 转录本的大量并行数据进行调整对于相同类型的测试数据是有益的，但在翻译干净文本时会产生轻微恶化。 在干净和嘈杂数据的同一数据上进行调整可以在两种输入类型上产生最佳结果。

    Oct, 2019

  • 通过图像文本转换实现更好文本理解

    本文探讨了将视觉信息与文本表示相结合的模型，通过 comprehensive ablation studies，我们提出了一种简单但表现突出的架构，相对于其他的 multimodal approaches，在若干基准测试中取得了更好的成绩。同时在使用数量级更少的数据时，也改进了与图像相关的文本数据集的最新成果。

    May, 2017

  • 训练和调整 RNN 转录自动语音识别模型的文本输入整合

    本文提出了一种新的文本表示和训练框架，用于对端到端自动语音识别模型进行内部语言模型（LM）的有效适应，仅使用新域的文本数据。实验表明这种方法能够显著提高模型的准确性并适用于不同的数据集。

    Feb, 2022

  • 增强视觉模型以实现对文本密集内容的理解和交互

    增强视觉模型对包含大量文本信息的图像进行理解和学习的能力，通过数据预处理、微调和模型评估等方法，在集成 CLIP 和文本嵌入模型的视觉聊天应用中取得了 96.71% 的精度，旨在提升复杂视觉文本数据的跨模态人工智能理解能力。

    May, 2024

  • 机器翻译模型是否在不被察觉的情况下变得更加健壮了？

    通过对多语种机器翻译模型和大型语言模型在噪声输入情境下的实验研究，我们发现这些模型相比以往模型对各种噪声更加稳健，尤其是在处理干净数据情况下表现相似的情况下。我们还展示了这种趋势在社交媒体翻译实验中同样存在，同时分析了源文本校正技术在减轻噪声影响方面的应用情况。综上所述，我们展示了对于多种类型噪声的稳健性有所增强。

    Mar, 2024

  • 低资源语音到文本翻译

    通过实验研究，我们发现在资源有限的情况下，从字符级识别转化成单词级可以显著提高低资源语言语音翻译的速度，并且在训练数据相对较少的情况下，仍然可以实现相对较高的词汇精度和召回率。

    Mar, 2018

  • 神经机器翻译的词汇选择策略

    本文介绍了关于翻译模型的研究，尝试通过使用上下文和嵌入式选择方法对其进行改进，可以大幅度地提高神经翻译模型的效率和速度。

    Oct, 2016