微软论文：编码代理不应按聊天请求调度
New Microsoft Paper on GitHub Copilot’s production traces show why coding agents…
做编码代理或推理基础设施的同学必看，这份生产级数据把 KV 缓存和调度单元讲透了，直接照着优化你的 serving 策略。
New Microsoft Paper on GitHub Copilot’s production traces show why coding agents should not be served like chat requests.
微软关于 GitHub Copilot 生产环境追踪的新论文表明，编码代理不应像聊天请求那样被服务。
In 13.5M GitHub Copilot sessions, 87% of LLM calls came from the agent itself rather than a user.
在 1350 万次 GitHub Copilot 会话中，87% 的 LLM 调用来自代理本身，而非用户。
A user prompt can fan out into an autonomous chain of model calls, tool actions, retries, and growing context, making the turn or session a more useful scheduling unit than an isolated request.
一个用户提示可以扩展为自主的模型调用链、工具操作、重试和不断增长的上下文，使得回合或会话成为比孤立请求更有用的调度单元。
That structure is especially visible in the KV cache.
这种结构在 KV 缓存中尤为明显。
It shows that KV cache is not really a request-level resource; its value depends on where the agent is in the workflow.
它表明 KV 缓存并非真正的请求级资源；其价值取决于代理在工作流中的位置。
Within a turn, average cache hit rate rises from about 45% on the first LLM call to 92–94% from the third call onward.
在一个回合内，平均缓存命中率从第一次 LLM 调用时的约 45% 上升到第三次调用起的 92-94%。
At a same-model turn boundary it falls to 55%, while a model switch pushes it down to 8%.
在相同模型的回合边界处，命中率降至 55%，而模型切换则将其推低至 8%。
Median KV-cache idle time is 1.2 seconds within a turn versus 172 seconds across turns, while container idle time jumps from 5.8 to 243 seconds.
回合内 KV 缓存空闲时间中位数为 1.2 秒，而跨回合则为 172 秒；容器空闲时间从 5.8 秒跃升至 243 秒。
Using turn- and session-level features, the paper’s lightweight predictor captures 86–90% of total idle time, giving the serving stack a signal for cache offloading or container reclamation.
利用回合和会话级特征，论文中的轻量级预测器捕获了总空闲时间的 86-90%，为服务栈提供了缓存卸载或容器回收的信号。
The implication is straightforward: coding-agent infrastructure should schedule workflow state across turns, because request-level policies discard some of the strongest signals in the workload.
其含义很直接：编码代理基础设施应跨回合调度工作流状态，因为请求级策略会丢弃工作负载中一些最强的信号。
– arxiv. org/abs/2608.00101
– arxiv.org/abs/2608.00101
Title: "Agentic Coding in the Wild: Characterizing GitHub Copilot Traces at Production Scale"
标题：“野外的代理编码：大规模表征 GitHub Copilot 追踪”
更进一步：量化金融体系
看懂新闻只是起点——沿量化金融路径，把它变成能交付的工程能力