跳到主内容
@wquguru
精选72huangservaAI 产品与模型

本地4090部署Grok Bot:PolyStrata与Linger实战

好家伙,自己的 Grok Bot,真让我在 4090 上搭出来了😂

原文
发到 X

好家伙,自己的 Grok Bot,真让我在 4090 上搭出来了😂

Grok Bot 是好用,可它跑在别人的服务器上,模型也是别人选好的,最近限流也很严重。我就想要一个自己的:模型自己挑,跑在自己的显卡上,跑多少个任务都是 0 Token。

这次用的是开源的 Linger 和它的推理引擎 PolyStrata。PolyStrata 负责把大模型跑起来:

1. 把 MoE 模型的专家分层放:常用的放显卡,少用的放内存,很少用的放 SSD,8G 显存的笔记本也能跑。 2. 支持 Qwen、DeepSeek、GLM、Gemma 等 12 个模型,运行中就能换。跑大模型比同配置的 llama.cpp 最高快 5 倍。 3. 兼容 OpenAI 和 Anthropic 的接口,Claude Code、Codex 这类工具能直接接上。

Linger 是装在自己电脑上的开源个人助手:

1. 接上邮件、聊天和日历后,能跨应用找上下文。邮件草稿写好了,你不点发送就不会发。 2. 会主动找你。客户约你谈预算,它先占住时间、写好简报,等你确认。 3. 活儿大一点,它会拉一个 Agent 团队分工,最后把成果交给你过目。

最爽的是模型随便配。Linger 底下可以跑 Claude Code、Codex 或 Pi:主控交给 Opus 5.5、Fable 5.2 或 GPT-6 Astra这种顶级模型,用你已经在付的订阅;其他活儿交给本地模型,跑在自己的显卡上。哪个活儿用哪个模型,自己调配。

我这次是 Linger 装在 Mac 上,接 本地部署4090显卡上的 Gemma4,跑得很快,当助手用也记得住我每周要做的事。连接外部应用、用语音和后台整理记忆,会用到外部服务。

同一个 PolyStrata 引擎,我还在另一台 V100 上跑了千问,搭了一个微信雷达。我加了 190 个群,攒了二十多万条消息。雷达每小时扫一遍,谁@了我、群里在聊什么、有哪些链接,都分好了类。

我还给 Linger 接上了自己的工具: 知识库:我这些年的资料都存在里面。我问一个历史决定,它把答案和出处一起发了回来。晨报挂上了定时任务,每天早上八点半自动生成,要点发到聊天里。 推特:只读不写,不会发帖,也不会点赞和私信。我让它看我最近发了什么,推文被分成了工具对比、视频技术和工作流三类。

兄弟们,想要一个自己的 AI 助手,这套真值得折腾一下。

两个项目都已开源,地址放评论区了👇 觉得有用,记得去 GitHub 点个⭐️

更进一步:量化金融体系

看懂新闻只是起点——沿量化金融路径,把它变成能交付的工程能力

进入量化体系 →