跳到主内容
@wquguru
精选88meng shao模型发布/更新多源精选 ×5

Block发布Dessa:纯语音全双工模型,Mac本地实时运行

Twitter 联创 Jack 创办的 Block 发布 Dessa:纯语音训练的全双工会话模型,听得见情绪,Mac 本地实时跑

原文
发到 X
推荐理由

纯语音全双工架构是交互范式的重大突破,Mac本地实时运行极具吸引力,值得Agent开发者关注。

Twitter 联创 Jack 创办的 Block 发布 Dessa:纯语音训练的全双工会话模型,听得见情绪,Mac 本地实时跑

Dessa 是 Block 小团队从零用纯人类语音训练的 speech-to-speech 模型:无文本、无预训练底座,全双工边听边说,声称推理快于实时,可在 MacBook Pro M4 Max 及以上本地跑;动机是自然交互、理解情绪,以及「听不见痛苦还继续聊」的安全风险。 https://block.xyz/dessa

它是什么

定位:目前据称首个仅从人类语音学会真实实时对话的 AI;交互目标是带情绪、停顿、自然节奏,像跟人说话。

技术形态:音频进、音频出;全双工(同时听与说);会插话、会 backchannel(yeah / got it / ooh);音色与个性由模型自选,演示为真人与 Dessa 的现场录音(字幕后加),无人实时操控。

演示侧重:句中即笑、被要求大声就变大、接上对方想不起的电影名、惊喜时压低嗓音「oh my god」、共情式建议、甚至与第三方 GPT-Live-1 互聊(双方均为 AI 声,GPT-Live-1 开发方与 Block 无关)。

为何不做「语音→文本→LLM」

现行语音 AI 常把声音压成文字,丢掉语气、讽刺、叹息、哽咽等文本带不走的信息;最强模型也「听不见你怎么感觉」。

团队认为这既损体验,也有安全隐患:人在剧痛时系统毫无察觉仍继续应答。

训练与算力叙事

从零、只靠对话声音学习;相对 LLM,用的「词量」少数百倍(文中也写:LLM 还要学 C++、Angular 等)。

难点:口音、停顿、呼吸、讽刺、重音改变语义(同句重读不同词含义全变);语音几乎永不重复;一词字节量远高于文本。

声称整模型在 一台 NVIDIA GB200 NVL72 上训成。

为什么做(Wait but why)

好奇:婴儿不识字也能学说话,模型能否同样。

更好的人机理解:语音是最自然界面,现有方案浪费它。

安全:能力与自主性上升时,对情绪几乎「耳聋」是风险;Dessa 是朝「听得见情绪」迈的一步。

更进一步:量化金融体系

看懂新闻只是起点——沿量化金融路径,把它变成能交付的工程能力

进入量化体系 →