投机解码让Whisper推理速度翻倍

Hugging Face 博客发布文章，介绍通过投机解码（Speculative Decoding）技术，将 OpenAI Whisper 模型的推理速度提升一倍。该方法利用一个轻量级的草稿模型快速生成候选序列，再由原始 Whisper 模型进行验证，从而在不显著降低准确率的情况下加速推理。文章提供了实现细节和性能对比数据，展示了在多种语言和音频长度下的加速效果。