04:18·r/LLMDevs(Reddit)
Reddit开发者分享构建的A2A Agent验证框架,旨在解决Agent Card能力声明与实际行为不符的信任问题。该工具通过RFC 8785规范JSON与SHA-256对Agent Card进行指纹提取,确保测试结果绑定特定版本。测试用例严格基于Card声明示例,经人工审批后由独立Runner执行,Runner仅持有凭证并脱敏存储。验证分两层:Layer 1检查状态、Schema等确定性指标;Layer 2使用固定版本的Claude Haiku 4.5评估语义正确性。结果存入不可变存储并以Ed25519签名,生成包含通过/失败/不确定状态的详细报告,而非单一信任评分。
#A2A#Agent安全#工程实践
04:01·Hacker News Best(web_list)
Piotr Sarnacki复盘DHH让AI代理将Campfire从Ruby on Rails重写为Rust和Elixir的过程,指出即使有资深开发者背景,不读代码仅靠提示词仍会导致严重缺陷。重写版本在向后兼容性、异步处理及锁机制上存在错误,如Rust版因非预占式调度导致数据库查询阻塞,通知送达率仅1%。文章强调单一基准测试(如吞吐量)无法反映系统可靠性,不同语言在并发、内存和控制权上各有取舍。结论是编程涉及复杂权衡,AI尚无法替代人类对架构决策的理解,开发者仍需深入理解底层原理。
#AI Agent#软件工程#Prompt Engineering
23:28·meng shao
密歇根大学推出「Applied Agentic Software Engineering」课程,将AI辅助软件工程的方法论封装为五个GitHub Skills。/peanuts用于自底向上为遗留代码生成README层级;/elephant强制先进行20-30分钟设计访谈并产出四节设计文档,全程禁写代码以挑战假设;/goldfish通过零上下文的新评审者验证设计完整性;/egm-implement在编码前执行门禁检查,记录漂移并断点续传;/mean-review采用对抗性提示词扫描代码缺陷。该体系强调人类评审门、文档作为唯一事实源及防漂移机制,提供了一套完整的AI工程落地工作流。
#密歇根大学#AI编程#工程实践
22:39·r/MachineLearning(Reddit)
Palette Atlas项目针对4.8万幅公有领域画作的色彩方案搜索,提出基于Sliced Wasserstein距离的嵌入方法与HNSW索引。传统Earth Mover's Distance计算过慢(每对约6ms),该方法将OKLab颜色投影至Fibonacci半球8个方向并量化为16分位数,通过L1距离近似W1下界。实验显示8x16切片L1在240次查询中Top-10重叠率达78%,误差仅1.8%。自研HNSW索引(M=16, efConstruction=200)在ef=32时召回率1.0,单次查询耗时0.25ms,较暴力搜索提速56倍。
#PaletteAtlas#Sliced Wasserstein#HNSW
21:56·r/Rag(Reddit)
一位开发者在构建企业AI知识库应用时,发现小型廉价LLM在处理复杂检索任务时表现不佳。为解决此问题,团队在检索流程前端引入JEV(轻量级评估器),先对用户查询进行意图清晰度及单多问题判断。若意图不明则生成多项选择澄清,若为多问题则拆分引导。该方案平均每次查询需5次JEV检查,API成本仅0.000282美元,总端到端成本约0.0019美元,耗时约8秒。尽管经济模型诱人,但小模型仍偶有遗漏关键条件的问题。作者建议将解释与生成解耦,并验证答案完整性,核心观点是赋予小模型更窄的职责比单纯增大模型规模更有效。
#RAG#工程实践#JEV
21:45·r/Rag(Reddit)
文章指出仅通过添加不可回答问题来测试RAG系统是否知道何时停止回答是不够的。作者以CSV上传为例,说明当答案存在于文档但检索未命中时,模型同样会给出谨慎的拒绝回答,导致无法从最终答案判断是有益的边界设定还是检索失败。作者建议将评估细分为五种情况:答案在且被检索到、答案在但未检索到、文档未包含答案、问题缺少必要细节、来源冲突。理想的评分应同时显示不支持的答案和遗漏的可回答问题,避免系统因过度拒绝而获得高分却毫无用处。作者主张标注少量边缘案例而非大量无关问题,并强调需明确区分检索失败与正确拒绝。
#RAG#评估#Prompt工程
21:41·r/LLMDevs(Reddit)
一位开发者为查明OpenAI月度总账单中各功能模块的消耗分布,自建轻量级日志工具记录每次调用的Token数并自行计算价格。他发现计费逻辑复杂:缓存读取与写入费率不同,推理Token虽不可见但按输出计费,且不同提供商对缓存Token是否计入Prompt存在歧义,音频Token成本远高于文本。该实践引发社区共鸣,多位开发者分享遭遇,如Google论坛用户因搜索请求产生高额费用、超时重试导致长上下文调用成本翻倍,以及某初创公司单月AI账单达11.3万美元。作者最终发现代码生成功能消耗70%预算,尽管其Token量远低于摘要功能,凸显仅看Token数量无法准确反映成本。
#OpenAI#LLM工程#成本控制
17:31·Avi Chawla
文章详细阐述了在AI Agent记忆系统中引入Jev作为前置过滤层的必要性。以旅行助手为例,说明记忆提取器需区分长期偏好、单次指令及临时状态。Graphiti负责事实记录、冲突解决与时效管理,而Jev则基于语义判断决定哪些信息可进入长期记忆。通过向Jev发送候选事实、来源证据及当前上下文,应用可获得保留范围评分与概率,从而执行如仅存储用户明确确认的偏好、拒绝敏感字段等特定业务规则。该架构将语义决策与持久化逻辑分离,GitHub开源项目Graphiti提供了完整实现。
#Agent Memory#Graphiti#Jev