vLLM 推出原生速度 Transformers 建模后端

vLLM 项目发布了一项新功能：原生速度 Transformers 建模后端。该后端旨在提升 Transformers 模型的推理速度，通过优化内核和内存管理，实现更高效的模型加载和运行。用户可以在 vLLM 中直接使用 Transformers 模型，无需额外转换步骤，同时保持与原生 vLLM 后端相当的性能。该功能目前处于实验阶段，支持部分模型架构，未来将扩展更多模型。