- HALC: 自适应焦点 - 对比度解码的目标幻觉减少
通过引入 HALC 这一新的解码算法,LVLMs 的对象幻觉问题可以得到缓解,并在多模态场景下展示出令人印象深刻的能力。HALC 同时在局部和全局上操作,利用细粒度的优化视觉信息,通过稳健的自动对焦定位机制进行实时修正,并借助专门的波束搜索 - EMNLP惩罚解码:有效抑制开放式文本生成中的自我强化效应
本研究探讨了生成开放性文本的解码算法、自我强化效应以及消减其影响的重复惩罚的有效性。我们提出了一种遗忘机制,通过忽略远距离的令牌减轻惩罚选择的负担。此外,我们引入了长度惩罚以解决过度惩罚导致的过短句子问题。我们的惩罚解码方法结合了三种策略, - 共识游戏:通过均衡搜索进行语言模型生成
通过引入一种称为一种 Equilibrium-Ranking 的解码算法,我们成功地将语言模型解码转化为一种博弈理论的过程,该过程在多个任务上提高了性能,并强调了在语言模型中解决真实性和一致性的重要性。
- 利用微调和最小前瞻波束搜索改善 Whisper
在低资源语言方面,Whisper 的性能仍然不够完善。为了解决这些问题,我们在额外数据上对 Whisper 进行了微调,并提出了一种改进的解码算法。在越南语上,使用 LoRA 对 Whisper-Tiny 进行微调可以将 WER 相对于零 - 开放式文本生成的回溯解码
本文提出了一种改进的解码算法 Look-back,利用 Kullback-Leibler 散度来跟踪当前和历史解码步骤之间的分布距离,能够自动预测潜在的重复短语和主题漂移,并移除可能导致故障的标记,从而生成更流畅和连贯的文本,并在文档连续性 - 基于中间语言级联翻译模型的端到端训练与解码
本文提出了一种基于端到端训练方法的级联翻译模型,并配置了一种改进的解码算法,该方法可以有效地利用极少量的 (parallel) data 来提高翻译质量。
- 神经群体动态和几何的可解释统计表征
本研究提出了一种基于统计学习的无监督几何深度学习框架,利用局部相空间特征的统计分布来表示非线性动态系统,该方法提供了鲁棒的几何感知或几何无关的表示,可用于测量轨迹的基础上进行无偏的动力学比较,并设计了一种具有最先进准确性的解码算法。
- 基于机器学习的 Reed-Muller 子码高效解码
本文研究了 Reed-Muller (RM) 码的子码及其解码,并提供了一种基于机器学习的投影剪枝框架,能以合理的代价维持几乎等同于全投影情况的解码率。
- ACL语言模型解码作为似然度 - 效用匹配
这篇论文提出了一种消减可能存在的语言生成模型中的似然度与任务特定效用误差的分类方法,并分析了该方法在不同任务中的可行性,并提供了一组决策根据,决定选择哪种解码算法。
- 控制耐心的束搜索解码
在文本生成中使用 Beam Search,引入了 Patience Factor 可以提高强预训练模型在新闻文本摘要和机器翻译中的解码效果,并且只需修改一行代码即可。
- 自然语言生成中的多样性与质量的权衡
将解码算法视为多目标优化问题,旨在同时最大化回应质量和多样性。当多样性是一个优先考虑的因素时,所有方法表现相似,但当质量被视为更重要时,近期提出的核采样 (nucleus sampling) 优于所有其他评估的解码算法。在这一发现的基础上, - MM深度学习辅助下基于 ADMM 的二元线性码解码器
本研究提出了一种基于深度神经网络的解码算法,通过深度展开设计解码网络,其中采用交替方向乘子法罚函数,提出两种改进的网络结构,数值结果表明,其解码性能在各种低密度奇偶校验码下超越原始的交替方向乘子法罚函数解码器,且具有相似的计算复杂度。
- 长篇语音识别的端到端模型比较
本研究调查和提高端到端模型在长篇转录上的性能。实验比较了不同的端到端模型并证明 RNN-T 模型在这种场景下比注意力模型更加鲁棒,并且使用限制注意力单调性和分段解码算法等两种改进方法,将注意力模型的性能极大提升,达到了和 RNN-T 模型相 - 神经序列模型端到端训练的连续松弛束搜索
本报告提出了一种新的神经序列模型的训练方法来更好地利用束搜索算法,该方法通过引入介绍连续逼近束搜索的新方法来形成一个次微分的替代目标,在 Named Entity Recognition 和 CCG Supertagging 两个序列任务的 - 神经机器翻译的可训练贪婪解码
本文提出了一种可训练的解码算法,通过观察和操作神经机器翻译解码器的隐藏状态来最大化任意解码目标,使用确定性策略梯度对其进行培训,在四个语言对和两个解码目标上进行广泛评估,证明我们确实可以训练出一个可训练的贪婪解码器,从而以最小的计算开销生成 - 神经机器翻译能否进行同声传译?
本文探讨了注意力机制的神经机器翻译在同时翻译中的应用,并引入一种新的解码算法 —— 同时贪心解码,可在接收到完整源句之前开始翻译。该方法与以往同时翻译的研究不同之处在于,它是基于分割和翻译同时进行的,以最大化翻译质量,并且每个片段的翻译都强 - 互信息和多样性解码改进神经机器翻译
本文介绍了一种基于相互信息最大化的神经机器翻译模型,该模型使用一种简单的重新排序方法和一种增加 N-best 列表多样性的解码算法,应用于 WMT 德英和法英任务中,该模型能够在标准 LSTM 和基于注意力的神经机器翻译体系结构上提供持续的 - 树转录的句子压缩
该论文提出了一种基于同步树替换语法的树到树转导方法,可以自然地捕捉结构不匹配。论文还介绍了在此框架中解码的算法,并展示了如何在大间隔框架内进行有区别性的训练,实验结果表明,该模型在句子压缩方面取得了显著的改进。
- 基于汉明距离预测矩阵的二进制向量检索
本文介绍一种基于哈明权重码的递归和代数构造方法,通过构建查询矩阵并求出查询比率,来准确地提取未知二进制向量 x,并实现了相关的解码算法。
- 近似稀疏恢复:优化时间和测量
研究如何构建稀疏恢复系统,以最小化测量矩阵的数量和解码算法的运行时间,给出了一个具有优秀性能的系统,其中测量矩阵的数量与下界相匹配,且解码时间为下界的对数倍。同时还考虑了编码时间、更新时间、算法的鲁棒性和稳定性。