Qwen3.8-27B在16GB AMD显卡运行100K上下文配置指南
Qwen 3.8 27B Q4 with 100K context on a 16 GB RX 7800 XT guide
推荐理由
本地跑大模型的同学必看，这篇给出了在16GB显存下跑通27B模型并支持长上下文的完整llama.cpp参数清单，直接照做即可压测你的硬件。
I'm running Qwen 3.8 27B Q4 XS with ~30 t/s decode (no MTP) at 100k context with q8/q5 KV cache on a 16GB AMD GPU. I wanted to share my setup since many believe Qwen 3.8 27B to be infeasible on 16GB VRAM.
我在 16GB AMD GPU 上使用 Qwen 3.8 27B Q4 XS，在 100k 上下文长度下配合 q8/q5 KV cache，解码速度约为 ~30 t/s（无 MTP）。我想分享我的配置，因为许多人认为 Qwen 3.8 27B 在 16GB 显存上不可行。
Build llama.cpp with Vulkan:
使用 Vulkan 构建 llama.cpp：
代码 · 1 行
cmake -B build -DGGML_VULKAN=ON && cmake --build build --config Release -jGrab Qwen3.8-27B-UD-IQ4_XS.gguf and mmproj-F16.gguf from unsloth/Qwen3.8-27B-GGUF, then:
从 unsloth/Qwen3.8-27B-GGUF 获取 Qwen3.8-27B-UD-IQ4_XS.gguf 和 mmproj-F16.gguf，然后执行以下操作：
代码 · 1 行
llama-server \ --model Qwen3.8-27B-UD-IQ4_XS.gguf \ --mmproj mmproj-F16.gguf --no-mmproj-offload --image-max-tokens 2400 \ --n-gpu-layers 999 --ctx-size 100096 --parallel 1 --no-kv-unified \ --batch-size 2048 --ubatch-size 512 \ --flash-attn on --cache-type-k q8_0 --cache-type-v q5_1 \ --load-mode none --fit off \ --cache-ram 4096 --ctx-checkpoints 4 --checkpoint-min-step 8192 \ --no-context-shift --jinja --reasoning-format deepseek \ --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.0 \ --threads 6 --threads-batch 6 --host 127.0.0.1 --port 8080更进一步：量化金融体系
看懂新闻只是起点——沿量化金融路径，把它变成能交付的工程能力