Superlinked开源SIE推理引擎：单GPU运行多模型降低自托管成本
Massive breakthrough here!
自托管Agent链路成本高的痛点很普遍，这个引擎用统一进程管理多模型替换分散部署，能显著节省GPU开销，做本地化部署的同学值得关注。
Massive breakthrough here!
这里取得了重大突破！
Researchers built a new AI inference engine that:
研究人员构建了一个新的 AI 推理引擎，它能够：
- reduces self-hosting costs by ~4x - runs a full agentic pipeline on one GPU - serves 20+ architectures, not just LLMs
- - 将自托管成本降低约 4 倍 - 在单张 GPU 上运行完整的智能体（agentic）流水线 - 支持 20 多种架构，而不仅仅是大语言模型（LLMs）
And it's fully open-source.
而且它是完全开源的。
Here's the core problem with engines like vLLM that it solves:
以下是它解决的类似 vLLM 等引擎的核心问题：
Most agent pipelines today run 4-5 small models under the hood:
如今的大多数智能体流水线在后台运行 4-5 个小模型：
- an embedder for retrieval - a reranker for precision - an extractor for entities - and an LLM for generation
- - 用于检索的嵌入器（embedder） - 用于提升精度的重排序器（reranker） - 用于提取实体的抽取器（extractor） - 以及用于生成的 LLM
The standard way to serve them is one server per model.
目前标准的部署方式是为每个模型配备一个服务器。
vLLM serves the LLM, TEI serves the embedder, and everything else gets a custom FastAPI wrapper.
vLLM 服务于 LLM，TEI 服务于嵌入器，而其他所有组件则使用自定义的 FastAPI 包装器。
Each server reserves its own slice of GPU memory and holds it whether traffic arrives or not. GPUs are billed by the hour, so idle time costs the same as busy time.
每个服务器都会独占一部分 GPU 显存，无论是否有流量访问都保持占用。GPU 按小时计费，因此空闲时间和繁忙时间的成本是一样的。
This is why switching to small models rarely reduces the bill. The cost is never in the calls but rather in maintaining the servers.
这就是为什么切换到小模型很少能降低账单的原因。成本从来不在调用次数上，而在于维护服务器。
The structural fix is serving every model from one process that loads and evicts models based on traffic.
结构性的解决方案是让一个进程服务所有模型，该进程根据流量动态加载和卸载模型。
Superlinked open-sourced a new inference engine that does exactly that.
Superlinked 开源了一个全新的推理引擎，正是为此而生。
SIE (Superlinked Inference Engine) is an Apache 2.0 server that runs 85+ models behind one API.
SIE（Superlinked Inference Engine）是一个基于 Apache 2.0 协议的服务器，它通过一个 API 运行 85 多个模型。
Four calls cover the whole pipeline:
四个调用即可覆盖整个流水线：
- encode() returns vectors - score() returns relevance scores - extract() returns entity spans - and generate() runs small open LLMs.
- - encode() 返回向量 - score() 返回相关性分数 - extract() 返回实体跨度 - generate() 运行小型开源 LLM
Models load on first request and are evicted least-recently-used, so one GPU serves a rotating set of models instead of sitting siloed behind one.
模型在首次请求时加载，并采用最近最少使用（LRU）策略进行卸载，因此一张 GPU 可以服务一组轮换的模型，而不是孤立地只服务于一个模型。
It runs anywhere from a laptop to a Kubernetes cluster, and it plugs into Qdrant, Weaviate, Chroma, LanceDB, LangChain, and LlamaIndex.
它可以在从笔记本电脑到 Kubernetes 集群的任何地方运行，并且可以接入 Qdrant、Weaviate、Chroma、LanceDB、LangChain 和 LlamaIndex。
GitHub repo: https://github.com/superlinked/sie
GitHub 仓库：https://github.com/superlinked/sie
(don't forget to star 🌟)
（别忘了点个星 🌟）
To dive deeper, my co-founder also wrote a hands-on guide to using SIE. It walks through a real-world example where you can learn to deploy and manage five models on a single GPU, including a small language model, an OCR model, an NER model, a reranker, and an object detector.
想要深入了解，我的联合创始人还撰写了一份关于如何使用 SIE 的实践指南。该指南通过一个真实案例，教你如何在单张 GPU 上部署和管理五个模型，包括一个小语言模型、一个 OCR 模型、一个 NER 模型、一个重排序器和一个目标检测器。
Read it below.
请在下方阅读。
更进一步：量化金融体系
看懂新闻只是起点——沿量化金融路径，把它变成能交付的工程能力