Intel Gaudi 获加速辅助生成支持

Hugging Face 宣布其加速辅助生成（Assisted Generation）功能现已支持 Intel Gaudi 处理器。该功能通过投机解码（speculative decoding）技术，利用一个较小的草稿模型生成候选 token，再由目标模型进行验证，从而在不牺牲质量的前提下显著提升文本生成速度。此次集成使得 Gaudi 用户能够利用 Hugging Face 的 Transformers 库，在 Gaudi 硬件上实现更高效的推理。开发者可通过安装 Optimum Intel 库并设置相应参数来启用该功能。