4U服务器部署4张6000 Pro供40人团队使用Local AI
4x 6000 Pro for the company
推荐理由
提供了一手的企业级本地AI部署全栈方案，从硬件选型到软件栈配置均有具体参数，对搭建私有化AI基础设施的团队极具参考价值。
Here is how i serve 40 people (10 of them developers) with local AI services.
以下是我为40人（其中10人为开发人员）提供本地AI服务的方式。
- n8n for automatisation
- whisper and Vexa AI, a bot joins Teams and makes transcripts, n8n later extracts decisions and todos
- OpenWebUI, ChatGPT-like webinterface for everyone, most agentic features are disabled, websearches via Tavily are possible
- Every developer has an API key to use via BiFrost (OpenAI compatible API router) for what they find useful
- Every developer has a local Linux VM where agents can be installed.
- A 4U server that contains 4 6000 Blackwell MaxQ and 384GB DDR5 and one AMD EPYC 9275F 24-Core CPU.
- The server runs Proxmox, every model or application runs inside LXC with Cuda 13.3 and Debian 13, Driver 595.
- mainmodel is Deepseek V4 Flash with vLLM, GPU utilization 0.55, TP4, 1M context.
- fallbackmodel is Qwen 3.8 27B Q8 with llama.cpp, 265K context in Q8.
- minimodel is K2-Horizon 7B Q6 with llama.cpp, with 64K context in Q8.
- ComfyUI to generate pics and videos for marketing.
- Embedding/Reranking with Geofront/BGE-M3-GGUF:BF16 and sinjab/bge-reranker-v2-m3-F16-GGUF with llama.cpp
- Overall cost of the server was around 55k€.
- Backup server with two 6000 Blackwell MaxQ is planned
- n8n用于自动化
- Whisper和Vexa AI，一个机器人加入Teams并生成转录文本，n8n随后提取决策事项和待办任务
- OpenWebUI，为所有人提供的类似ChatGPT的Web界面，大多数智能体功能已禁用，可通过Tavily进行网络搜索
- 每位开发人员都拥有一个API密钥，通过BiFrost（兼容OpenAI的API路由器）使用，以便按需调用所需功能
- 每位开发人员都拥有一台本地Linux虚拟机，可在其中安装智能体。
- 一台4U服务器，包含4块6000 Blackwell MaxQ显卡、384GB DDR5内存以及一颗AMD EPYC 9275F 24核CPU。
- 该服务器运行Proxmox，每个模型或应用程序均在LXC容器中运行，配备CUDA 13.3、Debian 13系统和595版驱动程序。
- 主模型为Deepseek V4 Flash，使用vLLM部署，GPU利用率为0.55，TP4并行，支持1M上下文。
- 备用模型为Qwen 3.8 27B Q8，使用llama.cpp部署，Q8量化下支持265K上下文。
- 轻量模型为K2-Horizon 7B Q6，使用llama.cpp部署，Q8量化下支持64K上下文。
- ComfyUI用于生成营销所需的图片和视频。
- 嵌入/重排序使用Geofront/BGE-M3-GGUF:BF16和sinjab/bge-reranker-v2-m3-F16-GGUF，配合llama.cpp实现
- 服务器的总成本约为55k欧元。
- 计划配置一台备用服务器，配备两块6000 Blackwell MaxQ显卡
Ask if you have questions.
如有问题请随时提问。
更进一步：量化金融体系
看懂新闻只是起点——沿量化金融路径，把它变成能交付的工程能力