利用抓包将 Computer Use 转化为 API 脚本以降本提速
Computer Use 好用,但很贵!Codex 如此,Grok Bot 也是如此!
Agent 落地常卡在 GUI 操作的延迟与成本上,这个抓包转 API 的思路非常实用,能显著优化自动化流程的效率与经济性,建议尝试。
Computer Use 好用,但很贵!Codex 如此,Grok Bot 也是如此!
那怎么做,能既用上 Computer Use 的能力,又降低 token 消耗成本呢?
@SamSokolin 的思路是对的: 让 Bot 只用一次 Computer Use 完成任务,同时抓取过程中的网络请求,然后把这些请求整理成一段脚本。之后重复执行同一任务时,直接调 API,不再走图形界面。
为什么这样做?
1. 省 token。 Computer Use 模式的成本结构决定了它很贵:每一步都要截屏 → 模型看图理解 → 决定点哪里 → 再截屏验证。一个"打开发票页、筛选未付款、导出 CSV"的任务可能要几十轮视觉推理。而脚本执行不需要模型参与,几乎零 token。
2. 快得多。 GUI 操作受页面加载、渲染、模型推理延迟的多重限制。直接调 HTTP 接口只受网络往返时间限制,通常从分钟级降到秒级。
3. 复用现有登录态。 推文里"with the same auth"是关键。Bot 在浏览器里已经登录了,抓包时能拿到 session cookie / token,脚本沿用这些凭证,不需要额外申请 API key 或走 OAuth。这也是为什么这种方式对没有公开 API 的 web 应用同样适用——任何网页前端最终都是在调后端接口。
看看 Sam 展示的工作流
① 下达任务 "去 acme. com/invoices,筛选未付款,导出 CSV"
② Bot 执行并抓包 一边点击,一边记录了 4 个请求:GET /api/session、GET /api/invoices?status=unpaid、GET /api/invoices/columns、POST /api/export/csv
③ 生成脚本并加入 routine 输出一段 Python requests 脚本,复用 session、拉取未付款发票、POST 导出、写入本地文件;之后作为定时任务(routine)自动跑
整个流程:访问站点并交互 → 抓取网络请求 → 生成脚本 → 放进 routine 运行 → 返回结果。
使用 Agent 重要分工原则
视觉操作用于"探索",代码用于"执行"!
更进一步:量化金融体系
看懂新闻只是起点——沿量化金融路径,把它变成能交付的工程能力