Cloudflare博客发布技术复盘，分析10月7日至13日乌克兰无人机袭击导致Yandex数据中心瘫痪期间的网络流量变化。数据显示，Yandex搜索（AS13238）的流量下降几乎全部来自验证过的搜索引擎爬虫；而Yandex云（AS200350）虽因漏洞扫描等恶意活动减少导致总流量下降40%，但高容量自动化请求并未消失，而是迁移至Radist和Selectel等其他俄罗斯托管提供商。通过JA4 TLS指纹、HTTP头和User-Agent比对，证实攻击者保持了相同的流量特征。该报告指出聚合流量指标易产生误导，实际恶意行为只是发生了转移。
Yandex outage: Data shows that instead of going dark, malicious bots went on the move
荐 · 安全与风控从业者必读，这篇工程复盘用真实数据拆解了“流量归零”背后的流量迁移真相，提供了基于TLS指纹和行为特征的溯源思路。
针对近期流传的“Passkeys是陷阱”观点，作者基于其开发开源Passkeys库及部署SaaS服务的经验进行辟谣。文章指出，主流云同步Passkeys（如iCloud、Google）默认不发送attestation数据，网站若强制要求将导致用户大规模无法登录，且行业指导早已建议消费者网站不请求此信息。此外，WebAuthn attestation仅验证硬件设备身份，不涉及操作系统或浏览器状态；YubiKey等硬件密钥反而具备attestation功能。相比TOTP易受中间人钓鱼攻击，Passkeys绑定域名具有天然防钓鱼优势。
作者在使用Ollama和llama.cpp构建本地Windows Agent时，发现6GB内存笔记本上的llama-server夜间频繁崩溃。经排查，根本原因并非模型量化问题，而是系统内存压力过大。主要诱因有两个：一是llama.cpp默认将提示词缓存置于系统RAM而非VRAM，且默认上限为8GB，导致内存占用激增；二是Agent进程存在内存泄漏，因未释放已关闭标签页的网络响应数据及组件定义匹配错误所致。通过限制缓存大小并修复泄漏，8GB笔记本内存占用从3280MB降至2800MB左右，6GB笔记本连续运行5小时无崩溃。
llama-server kept dying overnight on a 6GB laptop. The model was fine; system RAM wasn't
荐 · 做本地部署的同学必看，详细拆解了llama.cpp内存泄漏和缓存机制导致的崩溃问题，给出了具体的排查思路和修复后的性能对比数据，极具实操参考价值。
GitHub仓库onehumanbeing/esp32-iphone-agent展示了一种低成本方案，利用约7美元的ESP32-S3开发板让AI模型操控真实iPhone。该方案无需Mac、开发者账号或越狱，通过AirPlay屏幕镜像将手机画面传输至电脑作为视觉输入，同时ESP32通过USB HID协议模拟鼠标和键盘进行触控操作。系统包含规划器与执行器两个角色，可接入任何OpenAI兼容的视觉模型。相比传统的XCTest/WebDriverAgent方案，此方法不依赖Apple生态限制，能在任意App（包括游戏）中运行，且硬件成本极低。
卡内基梅隆大学秋季课程 11-768: AI Agents 的第 12 讲「Reinforcement Learning Systems」讲义和视频已公开，由 dan_fried 和 gneubig 主讲。该讲系统阐述了强化学习系统的理论与实战，涵盖框架设计、推理侧与训练侧的分别优化、训练-推理交互及 Agentic RL 的实战经验。核心观点包括：RL 框架本质是训练与推理两种异质负载的耦合；前缀复用是贯穿 agentic RL 系统效率的不变量；Token-In-Token-Out 设计错误曾导致全行业训练不稳定；权重同步与 R3 存在双引擎间的隐藏成本；
CMU 秋季最新课程 11-768: AI Agents
荐 · Agentic RL 一线实战复盘，提炼了前缀复用、负载耦合等关键工程取舍，对做 Agent 的同学极具参考价值。
Reddit用户yail259针对Agent读取网页时因反爬或页面未加载导致误判的问题，开发了开源项目Frankensurf。该工具将28款爬虫技术串联成路由，优先调用低成本方案，并通过规则校验页面内容有效性（如搜索结果需含条目、商品页需有价格），仅在失败时升级至重型工具。在150个未见站点的测试中，混合付费与免费工具的Frankensurf准确率达96%，纯免费方案为88%，均优于Zyte（86%）和Firecrawl（84.7%）。搜索评估显示其免费版本优于Firecrawl，付费版与Exa持平。
I built a router across 28 scraping tools and benchmarked it blind, it can access 96% of the sites
荐 · Agent开发者的硬核踩坑复盘，给出了可复用的多工具路由架构与内容校验逻辑，直接解决网页抓取中的幻觉痛点，建议收藏参考。
文章对比了SFT、DPO和RLVR三种大模型微调方法。SFT依赖高质量理想回复，适合已有优质数据场景；DPO通过偏好对训练无需独立奖励模型，适合人类偏好标注；RLVR利用程序化验证器（如代码执行或数值比对）获取奖励，适合可自动验证的场景。作者以Amazon SageMaker AI为平台，使用1500个GSM8K问题对Qwen3 0.6B进行GRPO训练实验。结果显示，经过100步训练后，模型在测试集上的精确匹配准确率从基线的55.80%提升至58.68%，净增2.88个百分点。尽管修正了133个错误但破坏了95个正确回答，整体仍证明信号有效。
来自Claude团队的felixrieseberg分享了一套提升AI使用雄心的方法论，认为瓶颈在于人类不敢要求更多。文章拆解了速度、高度、深度与广度四种类型，重点阐述了高度（追问目标背后的目标，质疑工作形式）、深度（坚持专业工具、对抗性验证、外部裁判）与广度（名词还原为动词，调动多领域资源）的具体操作技巧。核心洞察包括要求模型使用真数据库而非中间格式、通过原始数据让模型推翻假设以生产新知识，以及利用元提示词升级提问方式。作者强调物质前提是为模型提供执行能力如MCP，否则雄心只是作文。
同一个 AI，别人在造火箭，你在改错别字 ！
荐 · 这是一份来自Claude团队成员的一手工程实践指南，提供了可复用的Prompt策略与工作流设计思路，特别是关于“深度”和“高度”的实操细节，对提升Agent应用质量有直接参考价值。
Anthropic 工程团队用 5 个月将内部 monorepo 从 Git 迁移到自研版本控制系统 Scion，以应对 Claude 驱动的编码带来的合并量暴涨（从 5 月 2500 次/天增至 9 月 30000+ 次/天）。Scion 基于客户端永远在线的假设，采用 changeset 写前日志、递归派生数据、分层缓存架构，使 checkout 提速约 100 倍，基础设施 CPU/内存占用缩小 200 倍，CI 释放 25% CPU。团队还开发了代码审查工具 Antique 等系统，并观察到工程文化变化：人类审查转向意图层面，Claude 智能体作为“superfan”监控运维。
知名开源开发者yetone公开了利用Claude Code的Loop功能自动化维护Magpie项目的完整工作流。该方案部署三个循环任务：第一个监控GitHub Issue与PR及Discord社区，要求AI在真实多端环境复现Bug后修复并回复；第二个通过低成本分类模型Jev过滤推特反馈，仅将有效内容交由Opus处理以节省Token；第三个定期清理代码、总结教训并拉黑低质量贡献者。核心前提包括搭建真实验证环境、利用记忆系统固化早期设计偏好、以及明确边界情况的处理逻辑。
前一段 Loop Engineering 不是很火么，不过真做好的也不多。
荐 · Agent工程落地的硬核实操指南，详细拆解了如何用Loop构建自动化维护流水线，包含环境配置、成本优化和异常处理等关键细节，值得开发者和创业者收藏参考。
GLM-5.3-Flash在OfficeQA Pro V2基准上，配合LongHarness工具后精确匹配率从4.4%跃升至61.1%。该模型无关的框架专为1亿token以上语料设计，核心在于将证据与结论作为显式状态存储，而非混合在聊天历史中。通过开放结论驱动检索，并让新证据确认或修正原有结论，有效解决了标准Agent因检索无限扩张导致的性能瓶颈。实测中，该方法在V1基准超越Claude Code 12.1分，在V2基准超越Codex 18.9分。论文指出增益完全来自Harness架构优化，为长上下文Agentic推理提供了可复现的工程范式。
Learn to build custom harnesses, folks!
荐 · Agent开发者的硬核干货，直接给出了百万token场景下解决长上下文失效的具体架构方案，参数和逻辑清晰可落地，建议做RAG或长文本Agent的同学重点参考。
作者分享基于162篇学术论文构建RAG研究助手的完整管线与踩坑经验。系统使用Haiku预筛选、Cohere embed-v5嵌入、混合搜索及反证检索，确保回答包含引用并处理证据分歧。关键教训包括视觉模型静默丢弃页面、主题聚类导致41%偏差、以及评估中虚构学术争议的问题。输出分Brief/Standard/Detailed/Ideas四种模式，强调A/B测试纪律与严格评估指标如nDCG和召回率。作者正对比LLM预筛选与纯向量相似度在成本与延迟上的权衡，并反思硬聚类的必要性。
Built RAG Assistant. T'was a Nightmare. Here's Pipeline + Everything That Broke
荐 · 做RAG落地的同学必看，这篇提供了从数据清洗到评估的完整工程细节和避坑指南，特别是关于幻觉控制和评估纪律的部分极具复用价值。
GitHub发布Secret Scanning架构升级方案，采用两阶段流水线替代原有基于大语言模型的管道。第一阶段利用正则表达式进行高召回率的候选生成；第二阶段引入微调后的ModernBERT分类器，结合文件路径、变量名及上下文代码判断是否为真实凭证。该优化使后推送扫描执行时间中位数降低86%，用户告警接受率提升11.5%，推理成本降低98%以上。文章详细阐述了针对“硬负样本”（如文档占位符、测试数据）的上下文理解需求，以及结合产品反馈、人工标注与合成数据的训练策略，展示了小模型在特定安全场景下的高效能实践。
GitHub’s model for secret detection: Finding more secrets with less noise
荐 · 这是一篇极具参考价值的工程复盘，清晰展示了如何用轻量级模型解决LLM在特定场景下的性能与成本瓶颈，参数取舍对做AI落地应用的同学很有启发。
Google DeepMind工程师在YouTube分享使用Gemini 4 Argon维护Chromium开源项目的实践。Chromium拥有约4000万行代码，结构复杂且功能模块间存在意外交互，传统AI代理难以有效导航并常生成低质量代码。该工程师利用Gemini 4 Argon进行模块化重构，无需额外技能或工具链，仅凭记忆文件即可同时生成20个通过数十万次测试的代码变更。相比普通工程师日均1个变更的速度，模型展现出显著的效率提升与代码质量，证明了其在超大规模代码库中的实际应用能力。
Applying Gemini 4 for large-scale codebase maintenance in Chromium
荐 · 一线工程师实测Gemini 4 Argon处理4000万行代码库的完整工作流，包含具体配置与效率对比，对Agent工程落地极具参考价值。
开发者将 Google 的多模态嵌入模型 EmbeddingGemma 2 改造为语音转文字工具。该方法保留原始音频编码器，训练一个小型读取器将音频切片映射至文本空间，通过匹配约 22.9 万个英文单词生成转录结果，并辅以轻量模型添加标点与大小写。仅读取器部分经过训练，耗时不到两小时，使用开源许可的英语语音数据。在基础款 M3 MacBook Air 上，处理一小时音频仅需约 12.6 秒，实时率高达 288 倍，且完全在设备端运行，音频不离开本地。当前词错误率约为 5%，略高于主流模型，但展示了嵌入模型在特定任务上的潜力。该工具已提供 macOS 版本下载。
We turned EmbeddingGemma 2 into a speech-to-text model
荐 · 展示如何利用现有嵌入模型进行非传统任务的工程实践，提供了具体的架构思路、训练成本与性能基准，对做端侧部署的同学有参考价值。
Cloudflare发布技术博客，深入解析D1（基于SQLite的Serverless数据库）控制平面如何扩展以支持数百万个数据库实例。文章指出，AI辅助开发推动应用向“每用户/租户一个数据库”模式转变，D1数据库数量在过去一年增长15倍，日活跃库增长18倍。为应对规模挑战，Cloudflare重构了控制平面架构，核心原则包括：避免热点路径中的集中式单区域组件、利用Workers KV作为边缘缓存层、使用Hyperdrive连接池访问中心Postgres集群、以及通过预计算聚合避免扫描查询。系统分为数据平面（边缘快速查询）、控制平面（API操作）和后台异步平面。
Under the hood, off the hot path: how D1 scales to millions of databases
荐 · 面向开发者与架构师，详细拆解了D1控制平面在百万级规模下的工程实践与架构取舍，具有极高的复用参考价值。
Flama是一个开发八年的Python框架，旨在简化机器学习模型与LLM的生产部署。其核心理念是将所有模型（包括scikit-learn、PyTorch及LLM）打包为单一.flm文件，内含权重、推理所需工件及元数据。该框架支持通过同一模型文件同时提供OpenAI、Anthropic和Ollama等四种协议的API接口，并抽象出方言、传输与后端三层独立架构，实现不同后端如vLLM或MLX的灵活切换。此外，框架内置依赖注入、Pydantic校验、SQLAlchemy CRUD生成、JWT认证及MCP服务器转换等功能，底层路由与序列化由Rust实现。
一位用户分享了其公司利用本地AI服务支持40名员工（含10名开发者）的完整架构。硬件核心为一台搭载4张NVIDIA RTX 6000 Blackwell MaxQ显卡、384GB DDR5内存及AMD EPYC 9275F CPU的4U服务器，总成本约5.5万欧元。系统基于Proxmox虚拟化，各应用运行于LXC容器内。软件栈涵盖n8n自动化、Whisper与Vexa AI会议转录、OpenWebUI统一入口及BiFrost API路由。
作者针对中小企业网站内容结构特点，提出一种新的RAG检索策略。传统方法将网页切块后通过向量相似度检索，常导致语义碎片化与误匹配（如错误返回无关的“如何找水管工”）。该方案保持网页完整性，为每页生成简短描述，并引入Jev模型作为路由器，直接从候选页列表中挑选最相关页面或返回“无”。在168个问题的测试中，该方法错误率仅3%，显著优于传统chunk embeddings的33%。对比GPT-6 Luna，两者排名表现相当，但Jev速度更快且更倾向于拒绝不相关查询。研究指出，传统嵌入阈值难以解决相似性必然产生最近邻的问题，而“None”选项有效提升了召回准确性。
Reddit用户分享在RTX 5090上运行sergqwer Fork的Strata NVFP4引擎及Qwen3.8-Flash-Next模型的本地部署体验。该模型为125B-A6B混合MoE架构，权重经abliterated处理并转换为NVFP4格式（4.5-bit专家+Q8_0密集层），KV缓存int8，上下文窗口262k。用户在Horsey挑战中完成低多边形3D马匹动画生成，耗时33分45秒，纯Agent工作23分10秒，调用工具107次，输出Token超12万。
Block AI负责人Bradley Axen分享前沿模型对工程的重塑。2026年，Block利用Claude Fable 5作为编排器，协调Opus或Son等较小模型处理数千个Pull Request的大规模代码迁移，人类工程师转向高层设计审查。该模式在开源协作平台Buzz上运行，通过前置规划提升效率且质量不降。针对广泛访问带来的成本问题，Block部署自动选择器推荐模型与Effort级别，并保留人工双重审批以保障生产安全。这是首次实现非全量使用最强模型的规模化落地。
How Block orchestrates Claude Fable across thousands of pull requests | Claude by Anthropic
荐 · Agent编排与大规模代码重构的硬核实战，给出了Fable+小模型的具体分工、Buzz工具链及成本控制策略，做AI工程落地的同学值得参考。
SpaceX技术骨干Lee Robinson在斯坦福CS146S课程演讲，详解“全天候代理”架构。核心观点包括：产品需具备Agent入口否则沦为数据；AI自动审核盲测优于人工；采用瘦客户端固定服务器架构及主子代理协同突破上下文限制；利用Temporal实现持久工作流以支持数周连续运行；主张极简UI让模型自主行动。内容涵盖系统唤醒、状态快照、优先级排序等工程细节。
AI时代，每个新产品“不做Agent入口，就沦为其他Agent的数据”
荐 · 一线工程师拆解Agent底层架构与成本控制，含具体工具选型与工作流设计，极具落地参考价值。
项目 W1700K SDR 利用 Gemtek W1700K WiFi 7 路由器的 MediaTek MT7996 射频芯片，将其转化为宽带软件无线电接收器。该方案通过逆向分析并提取寄存器级初始化逻辑，编写了完全脱离联发科代码的自定义固件，实现冷启动控制与射频参数配置。硬件层面，Airoha AN7581 SoC 通过 10GbE 端口以零拷贝方式将高达 320 Msps 的 14-bit IQ 数据流传输至 Linux 主机。主机端提供 Web UI 实时显示频谱瀑布图，支持全频段扫描、动态调谐及增益滤波控制。
Turn a WiFi 7 Router into a 320Msps Software Defined Radio Receiver
荐 · 硬核工程实践，详细拆解了如何逆向定制 WiFi 7 芯片固件以实现 SDR 功能，包含完整的编译部署步骤与硬件连接细节，适合嵌入式与射频爱好者收藏参考。
开发者Maurice Heumann团队历时3个月，消耗超5000亿词元，利用AI智能体重建2009年游戏《使命召唤：现代战争2》的C++源代码。项目初期调用Claude与Codex模型，发现代码存在语义错误；随后引入“逐字节匹配”验证机制，通过比对原EXE/PDB二进制数据严格校验。后期运行14个Luna与2个Opus 5.5智能体，最终99%函数纳入重建，83%达到逐字节匹配。因非确定性特征或链接器行为，部分函数无法完全匹配。作者表示不公开代码，仅保留私人用途。
针对AI编程代理导致PR体积膨胀300%且合并延迟增加的问题，作者提出ZeroSlop方案。该方案通过GitHub Actions工作流在CI阶段实施确定性AST不变量检查，剥离94%的AI生成冗余代码，并强制执行12项CWE安全防御（如SQL注入、硬编码密钥、反序列化漏洞等）。作者声称已在LLVM、DuckDB、Tokio等多个上游系统仓库验证该流程，能显著减少人工审查负担并加速PR合并。项目包含交互式模拟器、架构文档及开源Action源码，旨在为团队提供可复用的AI代码质量管控实践。
微软研究人员发现，自主AI智能体因对话上下文不断累积，容易陷入被称为“思想盆地”的局部最优解区域，难以找到更优方案。为此，团队提出“Fork-and-Flush”方法，通过清空聊天历史记录但保留工作区状态，帮助智能体摆脱路径依赖。实验显示，在相同的计算资源预算下，该方法能使智能体的问题解决效果提升高达66%。这一机制揭示了长上下文对Agent推理能力的潜在负面影响，并为优化多步决策流程提供了新的工程思路。
Clearing chat history helps AI agents find better solutions
荐 · Agent开发者必读，这个“Fork-and-Flush”策略直接解决了长上下文导致的性能退化问题，实操性强且效果显著，建议在你的Agent链路中尝试引入该机制。
微软Foundry博客发布Model Context Protocol (MCP)官方Skills扩展（SEP-2640）的技术实现细节。该扩展旨在解决Agent技能共享与版本管理问题，通过标准协议让兼容的Agent从服务器发现、加载并验证远程技能文件。文章详细拆解了基于JSON-RPC的消息交互流程：首先通过server/discover确认能力支持，随后使用skills/list获取包含URI、SHA-256摘要和缓存策略的技能清单；接着利用resources/read读取具体指令文件，并在加载前进行完整性校验。当前提案已获Final状态，但客户端支持仍在开发中。
Delivering Agent Skills Over MCP
荐 · 面向Agent开发者的硬核工程指南，完整拆解了MCP Skills扩展的底层通信协议与数据流，直接指导技能分发架构落地。
Reddit开发者分享构建的A2A Agent验证框架，旨在解决Agent Card能力声明与实际行为不符的信任问题。该工具通过RFC 8785规范JSON与SHA-256对Agent Card进行指纹提取，确保测试结果绑定特定版本。测试用例严格基于Card声明示例，经人工审批后由独立Runner执行，Runner仅持有凭证并脱敏存储。验证分两层：Layer 1检查状态、Schema等确定性指标；Layer 2使用固定版本的Claude Haiku 4.5评估语义正确性。结果存入不可变存储并以Ed25519签名，生成包含通过/失败/不确定状态的详细报告，而非单一信任评分。
Piotr Sarnacki复盘DHH让AI代理将Campfire从Ruby on Rails重写为Rust和Elixir的过程，指出即使有资深开发者背景，不读代码仅靠提示词仍会导致严重缺陷。重写版本在向后兼容性、异步处理及锁机制上存在错误，如Rust版因非预占式调度导致数据库查询阻塞，通知送达率仅1%。文章强调单一基准测试（如吞吐量）无法反映系统可靠性，不同语言在并发、内存和控制权上各有取舍。结论是编程涉及复杂权衡，AI尚无法替代人类对架构决策的理解，开发者仍需深入理解底层原理。
I'm sorry, but you still have to think
荐 · Agent开发者的必读反面教材，详细拆解了“甩手给AI”导致的架构灾难，提供了关于异步调度和压力测试设计的深刻工程教训。
Palette Atlas项目针对4.8万幅公有领域画作的色彩方案搜索，提出基于Sliced Wasserstein距离的嵌入方法与HNSW索引。传统Earth Mover's Distance计算过慢（每对约6ms），该方法将OKLab颜色投影至Fibonacci半球8个方向并量化为16分位数，通过L1距离近似W1下界。实验显示8x16切片L1在240次查询中Top-10重叠率达78%，误差仅1.8%。自研HNSW索引（M=16, efConstruction=200）在ef=32时召回率1.0，单次查询耗时0.25ms，较暴力搜索提速56倍。
Sliced Wasserstein embeddings + HNSW for color-scheme search over 48k paintings [P]
荐 · 提供从距离度量到索引构建的完整可复现工程方案，参数与基准数据详实，适合做相似性搜索优化的开发者参考。
一位开发者在构建企业AI知识库应用时，发现小型廉价LLM在处理复杂检索任务时表现不佳。为解决此问题，团队在检索流程前端引入JEV（轻量级评估器），先对用户查询进行意图清晰度及单多问题判断。若意图不明则生成多项选择澄清，若为多问题则拆分引导。该方案平均每次查询需5次JEV检查，API成本仅0.000282美元，总端到端成本约0.0019美元，耗时约8秒。尽管经济模型诱人，但小模型仍偶有遗漏关键条件的问题。作者建议将解释与生成解耦，并验证答案完整性，核心观点是赋予小模型更窄的职责比单纯增大模型规模更有效。
文章指出仅通过添加不可回答问题来测试RAG系统是否知道何时停止回答是不够的。作者以CSV上传为例，说明当答案存在于文档但检索未命中时，模型同样会给出谨慎的拒绝回答，导致无法从最终答案判断是有益的边界设定还是检索失败。作者建议将评估细分为五种情况：答案在且被检索到、答案在但未检索到、文档未包含答案、问题缺少必要细节、来源冲突。理想的评分应同时显示不支持的答案和遗漏的可回答问题，避免系统因过度拒绝而获得高分却毫无用处。作者主张标注少量边缘案例而非大量无关问题，并强调需明确区分检索失败与正确拒绝。
一位开发者为查明OpenAI月度总账单中各功能模块的消耗分布，自建轻量级日志工具记录每次调用的Token数并自行计算价格。他发现计费逻辑复杂：缓存读取与写入费率不同，推理Token虽不可见但按输出计费，且不同提供商对缓存Token是否计入Prompt存在歧义，音频Token成本远高于文本。该实践引发社区共鸣，多位开发者分享遭遇，如Google论坛用户因搜索请求产生高额费用、超时重试导致长上下文调用成本翻倍，以及某初创公司单月AI账单达11.3万美元。作者最终发现代码生成功能消耗70%预算，尽管其Token量远低于摘要功能，凸显仅看Token数量无法准确反映成本。
L-Forster发布针对Qwen3.8-27B的CUDA Megakernel引擎更新，在单张RTX 3090上实现140 tok/s推理速度，较llama.cpp提升1.4-1.9倍。基准测试显示，该引擎在1K至96K上下文长度下与llama.cpp相比无显著质量损失，Top Token匹配率超99%，KL散度极低。支持投机解码，代码生成场景下预填充速度达1,600 tok/s。目前仅原生支持unsloth Q4_K_M量化版本，其他量化格式回退至llama.cpp。项目已合并多项PR优化加载逻辑，并开放硬件适配与更多量化格式的社区贡献。
Reddit社区分享基于llama.cpp的Ternary Transformer技术，实现27B级推理模型在本地设备运行。该模型采用1.72位/权重的三元权重格式，体积压缩至约5.9GB（FP16的九分之一），同时保留98.2%的智能水平。在14项思维模式基准测试中平均得分84.78，数学与编码能力接近全精度，支持262K上下文窗口。提供PTQ1_0与PQ2_0两种GGUF封装，适配CUDA、Metal及CPU环境，在Apple M5 Max笔记本上推理速度约47 tok/s，无需将权重扩展回FP16即可直接消费。
Now you can grow Bonsai on your potato
荐 · 硬核量化实践，展示了极低比特下保持推理能力的工程方案，参数与性能数据详实，适合本地部署开发者参考压测。
AKBASCORE MAM项目已在三种Transformer架构中验证，本文聚焦DeepSeek-V2-Lite-Chat（MLA架构）的实现。该方法通过冻结权重，在特定层注入干预并跨层巩固，将信息写入数值记忆以实现源无关问答。DeepSeek实验使用87个记忆令牌，占用2.58 MiB空间，正确率69/72。由于MLA采用压缩潜在组件与旋转键，其热力图特征与前两代Mistral、Qwen不同。作者提供了完整可执行代码与运行日志，证明该机制在不同架构下的可行性。
AKBASCORE MAM: Breaking the Text-Context Paradigm Third Model, DeepSeek-V2-Lite-Chat (MLA)
荐 · 这是一份极具参考价值的工程实践，详细拆解了如何在DeepSeek MLA架构上落地数值记忆技术，代码与日志齐全，适合做长上下文优化的研究者直接复现。
文章介绍了一种基于固定选项约束的“System one”决策模型构建方法，旨在通过单次前向传播替代传统自回归生成的多轮 token 预测。以 Qwen3-1.7B 为例，通过限制词表仅输出预设选项（A-E），实现快速推理与概率置信度提取。作者在 CommonsenseQA 数据集上测试，基础模型准确率达 59.38%，微调后提升至 62.41%。针对模型过度自信导致的概率校准问题，文中演示了使用温度缩放（Temperature Scaling）技术优化概率分布的过程，使输出置信度与实际准确率更匹配，并提供了包含数据构建、评估、微调及校准全流程的代码仓库供读者复现。
Reddit用户分享基于4块AMD BC-250矿卡的本地AI集群部署经验，通过llama.cpp结合Vulkan与RPC实现多卡并行。针对Next Flash IQ3_XXS模型，在100k上下文下达到约70 tok/s；双实例Qwen 3.6 35B A3B IQ4在256k上下文下达145 tok/s。核心优化包括：使用MTP头进行投机解码、Vulkan命令图录制回放、针对特定架构编写精确内核、以及将上下文检查点直接复制到各板卡而非经由协调器传输。该方案硬件成本极低（单卡约100美元），但需注意散热降频问题，且瓶颈在于延迟而非带宽。
Running Next Flash IQ3_XXS at ~70 tok/s with 100k context or 2 instances of Qwen 3.6 35B A3B IQ4 at ~145 tok/s with 256k all on $500 of ex mining BC-250 boards
荐 · 极具复用价值的硬核工程实践，详细拆解了低成本异构算力下的推理加速技巧，适合有闲置硬件或追求极致性价比的本地部署玩家参考。
Reddit 用户分享在配备 M3 Max 芯片与 64GB 内存的 Mac 上，使用 oMLX 框架成功运行 Qwen3.8-Flash-Next-oQ4e-mtp 模型的经验。该用户手动将原始模型量化为 OQ4E 格式，实际位宽约 4.72 BPW。测试显示，在分配 58GB 显存的情况下，模型可支持高达 130k 上下文窗口。在包含 13 次请求的实际短会话中，缓存效率达到 90.9%，提示处理速度达 140.0 tok/s，Token 生成速度为 15.8 tok/s。
研究在计算资源充足但唯一训练数据有限的场景下，对相同数据进行重复预训练的优化策略。发现验证损失与 Batch Size 呈 U 型关系，较小的 Batch Size 因梯度噪声提供隐式正则化而表现更优。提出调整训练配方，如每轮重新打包文档序列、权重绑定及正嵌入权重衰减。在有限 GPU 和时间预算下，较小 Batch Size 配合较少 GPU 可能比大 Batch Size 配合更多 GPU 获得更低验证损失，挑战了为最大化利用率而增加数据并行度的常规做法。
Scaling Repeated-Data Pretraining: Batch Size, Regularization, and GPU-Time Tradeoffs
荐 · 针对数据稀缺场景的硬核工程指南，揭示了小 Batch Size 在重复训练中的优势及具体调优参数，直接指导算力受限下的模型训练实践。