10:56·WquGuru
Niko1221开源Strata框架,实现单张12GB显存的RTX 5070运行125B参数Qwen3.8-Flash-Next模型。该方案通过存储分层优化:将常用专家置于显存,全部专家存于内存,查找表放SSD;算力不足时由CPU并行计算;采用预猜词与批量检查机制提升速度。实测在64GB内存游戏PC上可达45 tok/s,上下文支持128K,数据本地处理且模型开源免费。项目地址为github.com/Niko1221/Strata。
#Strata#推理优化#端侧部署
08:16·meng shao
作者rasbt发布Build A Reasoning Model系列第6讲,首次引入权重更新,使用纯PyTorch从零实现GRPO算法。该教程采用RLVR范式,仅对最终答案进行验证奖励,利用SymPy判分并计算组内相对优势,省去了昂贵的奖励模型与Critic网络。实验将Qwen3-0.6B基座在MATH-500上的准确率从15.2%提升至47%,逼近官方推理模型的48.2%。内容详细拆解了采样、奖励计算、优势估计及损失函数等五步核心代码逻辑,并总结了过训风险、显存需求及KL项取舍等实战经验,为开发者提供可复现的强化学习落地指南。
#GRPO#强化学习#PyTorch
03:49·r/LLMDevs(Reddit)
开发者发布Cognitive Cartridge架构,将源文本转化为Transformer内部K/V状态的数值压缩表示,存入独立“记忆卡”并插入冻结模型进行推理。已在Qwen2.5-7B和Mistral-7B-v0.3上复现,无需微调或LoRA。Mistral实验使用16个独立记忆卡,实现16/16的两阶段检索准确率及240/240的无关记忆拒绝率,证明该机制跨模型通用且具备相关性过滤能力。作者正推进规模化研究。
#AKBASCORE#数值记忆#Cognitive Cartridge
01:07·Rohan Paul
Rohan Paul提出GitHarness框架,将Agent的记忆机制类比为Git仓库,通过提交(commits)和分支(branches)管理需求变更。针对用户中途修改需求导致Agent携带过时信息或重复劳动的问题,该框架为每个需求匹配对应的工作成果,并在需要时从最接近的有效版本分支恢复。在30项测试设置中,该方法优于简单的继续生成模式;在特定编码任务场景中,Token使用量减少73.6%且得分更高。其核心逻辑是当用户更改细节时,回溯至仍适用的版本并仅重做变更部分,从而提升Agent处理动态反馈的能力。
#Agent#Memory#GitHarness
00:19·Rohan Paul
针对个人Agent的记忆机制研究指出,增加记忆条目并非越多越好。当相关笔记超过一定阈值后,额外内容会导致模型忽略核心规则。实验显示,在Claude Haiku 4.5上,无记忆时违规率77%,10行记忆降至20%,但更长记忆反而升至25%。对于需计数或追踪的状态(如消费总额),声明式规则失败率达44%,而代码实现为0%。自我重写记忆的Agent表现停滞在48%违规率,远低于直接告知偏好的7.1%。结论建议将状态逻辑交由代码处理,保持记忆简短以维持最佳性能。
#Agent#Prompt Engineering#Claude
22:09·r/LocalLLaMA(Reddit)
作者详细记录了将家庭本地推理硬件从单张RTX 3090逐步升级至20张NVIDIA DGX Spark的完整历程。初期使用双卡3090运行LLaMA与Qwen,后为应对DeepSeek MoE及长上下文需求,组建16卡3090集群并遭遇家庭电路瓶颈。随后转向4+4台ASUS GB10(Spark架构),成功实现8节点集群运行MiMo 2.5 Pro、Kimi 2.6及Kimi K3等超大参数模型,并在NVIDIA论坛分享配置方案。最终通过混合部署小模型常驻与大模型按需调度,实现了零API依赖的高性能本地AI工作流,体现了对开源模型未来的信心。
#LocalLLaMA#硬件搭建#NVIDIA DGX Spark
16:06·华尔街见闻(RSS)
a16z播客访谈Lio联合创始人兼CEO Vladimir Keil与合伙人Seema Amble。Keil指出企业采购中约80%工作发生在ERP系统之外,传统巨头受限于系统记录边界与内部利益冲突,难以推进高阶自主Agent。Lio采用人机协同模式建立信任,从处理小额谈判逐步扩展至大额决策,并利用Agent自动谈判挖掘长尾市场降本空间。Amble强调垂直AI护城河在于拥有端到端流程而非仅嵌入聊天机器人,并梳理了检索、流程、策略及主导四类代理的演进路径。
#a16z#Lio#AI Agent
14:58·r/LLMDevs(Reddit)
Reddit用户分享CacheVerifier项目经验,在向量检索缓存中引入次近邻(runner-up)相似度作为验证特征。通过计算Top1与Top2相似度差值判断查询是否处于拥挤区域,从而决定是否复用缓存答案。在LmArena测试中,保持2%错误率下命中率提升3.46个百分点,仅5%审计标签时提升5.31点;Quora数据集提升0.3点。尽管AUC指标因平均效应下降,但该方法在低错误率区间有效。该技巧仅需增加一次邻居查询开销,适用于优化LLM推理缓存系统。
#CacheVerifier#LLM缓存#工程实践