精选85Hugging Face 博客（RSS）产品发布/更新
Hugging Face 将 Transformer 推理速度提升 100 倍
推荐理由
做推理部署的同学必看，Hugging Face 这次把 Transformer 推理速度提升了两个数量级，赶紧更新你的 Transformers 库试试，成本直接砍半。
Hugging Face 宣布通过优化推理引擎，将 Transformer 模型的推理速度提升高达 100 倍。该优化主要针对文本生成任务，通过内核融合、量化、批处理等技术实现。新引擎已集成到 Transformers 库中，用户无需修改代码即可获得加速。该改进适用于多种模型架构，包括 GPT、LLaMA 等。Hugging Face 表示，这一突破将大幅降低部署成本，推动大模型在实时应用中的普及。
更进一步：量化金融体系
看懂新闻只是起点——沿量化金融路径，把它变成能交付的工程能力