25行Python实现Jev：本地LLM概率分类实操

25 行 Python 代码实现 Jev。每个人都在谈论 Jev。这个 Jev，那个 Jev。Twitter 上所有人都在热议 Jev，称其为大型语言模型和 AI 范式的下一个前沿领域。我们并不这么认为。所以这里是用 25 行 Python 代码实现的 Jev。 加载模型。 ```python # /// script # requires-python = ">=3.12" # dependencies = ["huggingface-hub", "llama-cpp-python", "numpy"] # /// import numpy from llama_cpp import Llama # 实际上，你可以使用来自 https://huggingface.co/models?library=gguf 的任何 GGUF 模型 model = Llama.from_pretrained( repo_id="Qwen/Qwen3-0.6B-GGUF", filename="Qwen3-0.6B-Q8_0.gguf", n_ctx=512, logits_all=True, verbose=False, ) ``` 加载提示词并定义你的选项。 ```python labels = ["A", "B", "C"] choices = ["Legitimate", "Spam", "Phishing"] email = "Payroll asks for your password on a non-company sign-in page." options = "\n".join( f"{label}. {choice}" for label, choice in zip(labels, choices, strict=True) ) prompt = f"""<|im_start|>system Choose one option.<|im_end|> <|im_start|>user Email: {email}\n\n{options}<|im_end|> <|im_start|>assistant \n\n\n\n""" model.eval(tokens=model.tokenize(text=prompt.encode(), add_bos=False, special=True)) ``` 将 logits 转换为概率。 ```python logits = model.scores[model.n_tokens - 1] token_ids = [model.tokenize(text=label.encode(), add_bos=False)[0] for label in labels] choice_logits = numpy.asarray([logits[token_id] for token_id in token_ids]) logprobs = choice_logits - numpy.logaddexp.reduce(choice_logits) probabilities = numpy.exp(logprobs) for name, scores in ( ("Logits", choice_logits), ("Log probabilities", logprobs), ("Probabilities", probabilities), ): values = numpy.round(scores.astype(float), 3).tolist() print(f"{name}:", dict(zip(choices, values, strict=True))) # Logits: {'Legitimate': 26.254, 'Spam': 27.262, 'Phishing': 29.614} # Log probabilities: {'Legitimate': -3.482, 'Spam': -2.474, 'Phishing': -0.122} # Probabilities: {'Legitimate': 0.031, 'Spam': 0.084, 'Phishing': 0.885} ``` 完毕。那是 Jev。## 不，你不懂 Jev！是的，我们明白。- 我们不称之为 System One 决策模型。- 我们没有调用 API。- 我们没有创建一堆合成数据。- 我们没有使用用于校准决策的强化学习（RLCD）来训练模型以校准决策和概率（尽管它们并不总是正确的）。## 但没错，这就是 Jev。- 它进行分类：接收带有选项的提示并输出概率。- 它很快。- 它是本地的。- 你不会把你的数据发送到其他地方。而且我们喜欢不把您的数据发送到其他地方。看看 NobodyWho。（注：这是一篇讽刺博客文章，请参阅这些链接以获取 Jev 更好/更完整的开源实现：OpenJev、openjev-sglang 以及 DiffusionGemma 上的 OpenJev。）NobodyWho 所做的一切都是开源的，请在 Github 上给我们点个星以支持我们 ❤️ 由 Duarte O.Carmo 于 2026 年 9 月 22 日发布 技术