腾讯发布Hy4 preview极限量化版，模型体积降至214GB

1.5TB变214GB：腾讯给Hy4 preview做了极限量化版 动察 Beating AI 快讯，Hy4 preview 刚开源，腾讯混元又放出了一个极限量化版。原始模型权重接近 1.5TB，新版 GGUF 只有约 214GB，大幅降低了这款 770B MoE 模型的本地部署门槛。 它并不是把整个模型都压成 1.25-bit。腾讯按不同层对精度的敏感程度分别量化，能扛的部分最低压到约 1.31-bit，敏感部分保留 2-bit 甚至更高精度。最终整个文件平均约 2.38 bpw。腾讯给出的四项评测中，相比 BF16 原版只下降了 0.2 到 1.6 分。 压小以后，腾讯还和 prima.cpp 测试了异构设备联合推理。一台 RTX 4090 笔记本加一台四卡 A4000 服务器，总共只有 80GB 显存和 64GB 内存，最终把模型跑到了 1.02 token/s，比笔记本单机 offload 快约 6 倍。几台不同配置的设备，也可以一起分担模型推理。 原文链接 https://m.theblockbeats.info/flash/364615