20:59·meng shao
斯坦福大学 CS336 课程第 10 讲由 Percyliang 教授主讲,聚焦语言模型的推理(Inference)阶段。讲义采用可执行形式,以数学主线串联架构、算法与系统优化手段,核心逻辑是减少每步搬运字节数。内容涵盖架构层有损优化(GQA/MLA/CLA 降维、量化剪枝)、算法层无损加速(投机采样)、系统层优化(连续批处理、写时复制),并深入探讨延迟与吞吐、速度与准确率之间的权衡。Percyliang 指出 KV cache 是 Transformer 推理瓶颈的根源,建议从第一天为推理设计的架构(如 SSM、线性注意力)寻找改进空间。
#Stanford#LLM Inference#Optimization
03:34·r/MachineLearning(Reddit)
一位开发者利用单机桌面硬件,通过自博弈强化学习成功击败了《魔兽争霸3》内置的最高难度(Insane)AI,胜率约89%。该Agent在RTX 3090与16核CPU环境下训练了11年游戏时长(84万次对局),每步决策仅需13毫秒。由于原版游戏无API支持,作者通过Wine模拟环境、自定义DLL虚拟时钟及JASS脚本Harness实现高效交互,将50个并行游戏实例加速至实时的15倍。网络结构包含Transformer编码器、记忆模块及动作/价值头,仅含320万参数。训练初期采用行为克隆模仿AI,后期切换至自博弈并辅以材料获取奖励与KL散度正则化以稳定策略。
#强化学习#自博弈#工程实践
21:49·r/LLMDevs(Reddit)
本文整理了截至2026年10月,Qwen、DeepSeek、GLM、Kimi及gpt-oss等主流开源推理模型通过API关闭“思考”(thinking)模式的参数差异与实操细节。不同厂商实现各异:Qwen使用chat_template_kwargs设置enable_think为false;DeepSeek API需传入thinking: {type: disabled};而GLM-5.3和Kimi K3已移除关闭开关,仅支持reasoning_effort调节至最低档,发送禁用指令会报错。
#Open Source Models#API Usage#Reasoning Models
21:46·OrcaRouter 🐳
开发者将 Qwen3.8 Flash Next Uncensored 部署于三张老旧 AMD MI50 GPU,初始速度仅每秒 0.5 token。经优化后提升至约每秒 10 token,性能提升 20 倍且硬件与权重未变。关键发现是将 CPU 线程从 32 降至 8-12 可显著改善性能,证明瓶颈常在使用方式而非硬件。该案例展示了开源 AI 社区工程对老旧硬件利用率的优化潜力,相关讨论位于 Hugging Face。
#Qwen#AMD MI50#推理优化
21:43·meng shao
SemiAnalysis 播客深度拆解 Z AI 开源模型 GLM 5.3。澄清稀疏注意力解决的是内存带宽瓶颈而非容量,KV Cache 仍需载入 HBM;并发提升通过 HiCache 卸载至 DRAM 实现。InferenceX 基准显示 AMD MI355 经软件优化后推理成本反超 NVIDIA B200。GLM 5.3 架构与 5.2 相同,性能跃升全赖激进后训练管线,包括 GRPO、SAO 及开源 slime 框架,其网络安全能力被指已接近 Anthropic Fable 级水平。此外,该模型从第一天起即全栈适配华为昇腾等七大国产芯片平台,暗示为特定硬件做协同设计。
#Z AI#GLM 5.3#后训练
21:10·meng shao
Stripe首席设计官lil_dill分享利用AI规模化提升产品意图、品质与艺术性的实战经验。她指出LLM天然趋向均值,易导致“僵尸UI”,并提出四条建议:首先必须建立团队独特的观点与品味标准;其次将设计意图编码进机器系统,如通过CLI注入完整模板而非仅读文档;第三拒绝以完成度代替质量,强调编辑者需像用户一样审视整体连贯性与细节;最后释放创造力,利用AI作为创意催化剂并保护独特探索。该分享为AI时代产品设计提供了从价值观到工程落地的系统性方法论。
#Stripe#产品设计#AI实践
18:46·Avi Chawla
文章通过可视化方式解释大语言模型推理中的连续批处理(Continuous Batching)技术。传统静态批处理中,请求需等待批次中最慢者完成,导致GPU在空闲时仍支付全额显存读取成本;而连续批处理允许调度器在每次前向传播后重新决策,及时释放已完成请求的槽位并填入新请求,从而消除无效等待。AnyScale基于OPT-13B在A100上的基准测试显示,随着输出长度方差增加,静态批处理吞吐量降至约81 tokens/秒,而vLLM达到朴素Hugging Face服务的23倍。该技术由vLLM、SGLang、TGI等默认支持,NVIDIA称之为in-flight batching。
#vLLM#推理优化#连续批处理
13:56·MarkTechPost(RSS)
本文介绍如何使用NVIDIA新发布的Structured Data Models库,通过预训练基础模型对表格数据进行零训练预测。该库封装了TabICLv2、KumoTabular和KumoRelational等模型,支持单表与关系数据库场景,利用上下文学习(In-Context Learning)在一次前向传播中返回概率或预测分布。教程详细演示了安装配置中的依赖陷阱处理、使用typed table tensors进行预处理、对比scikit-learn基线性能、复用编码上下文、校准回归预测区间及扩展至多分类任务。
#NVIDIA#Structured Data Models#零训练