Qwen3.8-Flash-Next 177B在单张RTX
Qwen3.8-Flash-Next 177B running at 11–15 tok/s on a single RTX 5070 12GB + 32GB RAM DDR4
本地部署千亿参数模型是硬核玩家刚需，这篇详细拆解了I/O和内存管理的优化细节，有完整可复现的工程思路，值得收藏参考。
Benchmarking an LLM here with a NVIDIA RTX 5070 12 GB VRAM here
在此使用 NVIDIA RTX 5070 12 GB 显存对 LLM 进行基准测试
I had been working on a llama.cpp based expert streaming setup for Qwen3.8-Flash-Next 177B (UD-IQ3_XXS) on Windows. Benchmark is about 11.5 tok/s, up from roughly 7 tok/s on the inherited setup. In normal conversations I’ve seen 14–15 tok/s, and a long coding prompt generated 4,892 tokens at 10.15 tok/s and produced a working single-file Snake game.
我一直在 Windows 上基于 llama.cpp 为 Qwen3.8-Flash-Next 177B (UD-IQ3_XXS) 构建专家流式处理设置。基准测试速度约为 11.5 tok/s，相比之前继承的设置（约 7 tok/s）有所提升。在正常对话中，我观察到速度达到 14–15 tok/s；一个长代码提示生成了 4,892 个 token，速度为 10.15 tok/s，并成功生成了一个可运行的单文件贪吃蛇游戏。
Hardware: RTX 5070 12GB
硬件：RTX 5070 12GB
32GB DDR4-2400
Ryzen 5 5600GT PCIe Gen3 Windows
The main gains came from fixing Windows I/O queue-depth issues, using one file handle per worker, and building a page-locked hot-expert tier so the GPU can pull hot expert weights more efficiently.
主要的性能提升来自于修复了 Windows I/O 队列深度问题、为每个工作进程使用单独的文件句柄，以及构建页面锁定的热专家层，以便 GPU 能更高效地拉取热专家权重。
(In the video its around 16 minutes for 10k tokens and 10.41 tok/s
（视频中生成 10k tokens 耗时约 16 分钟，速度为 10.41 tok/s）
Output is quality gated against the control model and the published benchmark uses a heat file built from a separate prompt set.
输出质量经过控制模型的校验，发布的基准测试使用了由独立提示集构建的热文件。
Demos:
演示：
https://www.youtube.com/watch?v=cOPumMlyj_4
https://www.youtube.com/watch?v=rc-uTjVpXM8
In the GitHub I have things I've tried that didn't work and benchmark scripts, and methodology. If you guys have suggestions especially for streaming please let me know
在 GitHub 上，我分享了尝试过但未成功的方案、基准测试脚本以及方法论。如果大家有建议，特别是关于流式处理的，请告诉我。
更进一步：量化金融体系
看懂新闻只是起点——沿量化金融路径，把它变成能交付的工程能力