利用空闲期主动Compact优化Agent Prompt Cache命中率

挺有意思的小策略，原理也简单：找一个 Agent 空闲的时间，主动做一次 compact。 核心还是prompt cache。现在agent runtime 是尾追加的方式，compact之前不对历史做处理，因为前缀一致，大量都可以命中prompt cache，所以成本和速度都不错。 compact 反而会导致下一次需要重新推理。 但是agent 闲置，prompt cache过期，响应慢，而且贵。

总之，现在的agent runtime主要还是适配 task/session based agent，对长程agent的支持还早期。