00:59·r/LocalLLaMA(Reddit)
作者通过 10Gb/s USB-C 线缆将 iPhone 17 Pro Max 作为第二 GPU 与 24GB M4 Pro MacBook 协同运行 Qwen3.8-27B。Mac 负责前 40 层,iPhone 负责后 24 层并流式传输激活值;超过 64k 上下文时,旧 KV 页移至手机存储,由手机 GPU 计算注意力、Neural Engine 辅助写入。实测显示,在 8k 至 48k 上下文中,预填充速度提升 29%-44%;140k 上下文下写入延迟从 279ms 降至 176ms。
#Qwen3.8#llama.cpp#工程实践
20:54·r/LocalLLaMA(Reddit)
作者基于两块华为Atlas 300I Duo(共4个Ascend 310P3设备,总显存约172 GiB)搭建本地推理平台,成功部署Qwen3.8-Flash-Next模型。初期生成速度仅1 tok/s且输出混乱,经约两周持续优化后,单请求达30 tok/s,四并发聚合61 tok/s,并跑通GPQA Diamond全题。核心工作包括修改vLLM及vLLM Ascend以支持MoE路由、Gated DeltaNet循环层与稀疏注意力机制,解决张量并行映射、异步状态机及算子兼容性问题。硬件层面采用被动散热配合高风量机箱气流,温度控制在72-78°C;
#Huawei#Ascend#vLLM
06:07·宝玉
作者分享使用 Opus 5.5 模型与 Gemini 3.8 Flash TTS API 制作八卦类短视频的完整工作流。核心 Prompt 要求模型自主搜集 X、YouTube 等素材,生成事实准确且具冲突性的脚本,并指定 9:16 竖版规格、中英双语配音及自动压低 BGM 等音频处理要求。画面指令涵盖封面设计、推文卡片叠加、字幕排版及去敏处理,交付前需通过 STT 回听与抽帧检查重复镜头。该方案提供了从素材获取、内容创作到后期质检的可复用工程实践。
#Opus#Gemini#视频制作
03:55·PyTorch 博客(RSS)
PyTorch团队将Helion集成至vLLM线性后端,利用其自动调优的高层内核DSL提升大模型推理性能。在NVIDIA Hopper GPU上,该方案通过单实现覆盖多种算法变体并自动选择最优配置,端到端性能超越默认CUTLASS和DeepGEMM后端,部分负载吞吐量提升超10%。文章详细分析了引入Helion的性能收益、可移植性及客户端优化机会,同时指出预热延迟、运行时CPU开销及维护成本等挑战,阐述了性能、可用性与可维护性的权衡关系。
#PyTorch#vLLM#Helion
00:15·OpenAI News(RSS)
OpenAI发布面向初创企业的GPT-6系列模型使用指南,涵盖模型选型、推理强度调节、提示词优化、技能配置、工具协调及生产环境工作流准备。该文档提供可复现的工程实践方法,指导开发者如何根据业务需求选择合适模型并调整参数,提升应用效果。内容聚焦于实操技巧与工作流优化,属于典型的方法类技术指南,为AI应用开发者提供系统性的落地参考。
#OpenAI#GPT-6#工程实践
22:11·r/LLMDevs(Reddit)
OmniNode 路由系统在单次运行中尝试五次均返回答案,但接收检查全部拒绝,最终记录为供应商错误。由于供应商响应迅速,该标签误导了排查方向。系统逻辑是从最便宜模型开始,失败后升级至更强大模型,这使得接收检查直接关联成本决策。若检查有误,多次尝试只会增加支出而无法获得有效答案。作者还提到另一案例中正确的一字回答因未展示足够“努力”被拒。为解决此问题,作者主张将返回的答案与拒绝原因一同保留,以便区分传输故障、需求不匹配及检查误判等不同情况,并探讨如何测试路由器边界及验证短答案的有效性。
#LLM Router#工程实践#成本控制
22:04·Latent Space(RSS)
Airbnb CTO Ahmad Al-Dahle披露公司“内外兼修”的AI战略。内部工程方面,60%代码由AI生成,迭代提速80%,工程师PR吞吐量提升1.6倍;组织流程从文档转向原型与代码,打破传统交接壁垒。客服领域,约50%工单由AI自动解决,通过合成数据测试确保安全性。新产品如外卖与接送服务依托内部知识图谱Everest快速上线,后者利用LLM与嵌入技术构建上下文,使通用开发者也能处理专业模块。模型策略上采用多模型混合,针对搜索、编码等场景在成本、性能与延迟间做权衡,对窄域任务进行后训练以超越前沿模型。此外正探索基于事件的异步Agent自动化值班响应。
#Airbnb#AI工程实践#模型选型
18:22·Avi Chawla
研究者提出KV-streams,一种针对Agentic RL的训练优化方法。传统系统使用re-prefill压缩策略,需重建KV缓存导致重复计算;该方法直接从活跃KV缓存中移除废弃对话轮次,保留物理存储与逻辑位置分离以处理RoPE旋转,并调整vLLM块表结构以避免内存读取错误。实验显示,在SWE-bench Verified上,结合Markovian Thinker的KV-streams方案约32小时达到峰值性能,而传统重预填方式需60小时,速度提升近两倍。该工作主要加速RL训练阶段,通过记录压缩事件确保训练与推理路径一致,降低KL散度至0.001。
#KV-streams#Agentic RL#vLLM