精选85Hugging Face 博客(RSS)产品发布/更新
Hugging Face 集成 bitsandbytes,支持 4-bit 量化与 QLoRA
Hugging Face 集成 bitsandbytes 实现 4-bit 量化与 QLoRA
推荐理由
做模型微调或部署的同学必看,4-bit 量化让大模型在消费级 GPU 上运行成为可能,赶紧试试 QLoRA 微调你的模型。
Hugging Face 宣布在其 Transformers 库中集成 bitsandbytes 库,支持 4-bit 量化(NF4 和 FP4)以及 QLoRA 微调。用户可通过 `load_in_4bit=True` 参数加载模型,显著降低显存占用,例如 6.7B 参数模型仅需约 6GB 显存。该功能基于 bitsandbytes 的 4-bit 优化器,支持在消费级 GPU 上运行大模型。同时,Hugging Face 提供了详细的教程和示例代码,帮助开发者快速上手。
更进一步:量化金融体系
看懂新闻只是起点——沿量化金融路径,把它变成能交付的工程能力