跳到主内容
@wquguru
精选88Rohan Paul论文研究

Google发布EmbeddingGemma 2论文,744M参数多模态嵌入模型

Google released its EmbeddingGemma 2 paper.

原文
发到 X
推荐理由

端侧多模态嵌入是本地AI的关键基础设施,这篇论文给出了具体参数与实测数据,开发者可直接参考用于私有数据检索场景。

Google released its EmbeddingGemma 2 paper.

Google 发布了其 EmbeddingGemma 2 论文。

embedding model for on-device multimodal AI, under an Apache 2.0 license.

用于端侧多模态 AI 的嵌入模型,采用 Apache 2.0 许可证。

> puts text, code, images, audio and video into 1 searchable space on phones. gives phones a missing piece: a way to understand and search your own stuff without sending it to a server.

> 将文本、代码、图像、音频和视频放入手机上的一个可搜索空间中。为手机补齐了缺失的一环:一种无需将数据发送至服务器即可理解并搜索个人内容的方式。

> shows that a 744M-parameter open model can embed text, images, audio, and video, beating many models 2 to 12 times larger.

> 表明一个拥有 7.44 亿参数的开源模型能够嵌入文本、图像、音频和视频,其表现优于许多大 2 到 12 倍的模型。

> On a Pixel 11 Pro, quantized text weights take about 191MB of active RAM, and the full multimodal model takes about 567MB.

> 在 Pixel 11 Pro 上,量化后的文本权重占用约 191MB 活跃内存,而完整的多模态模型占用约 567MB。

> The context window grows 4x to 8K tokens, enough for roughly 5.5 minutes of audio, 29 images or 58 video frames in 1 input.

> 上下文窗口扩大 4 倍至 8K tokens,足以在单次输入中容纳约 5.5 分钟的音频、29 张图像或 58 个视频帧。

They built EmbeddingGemma 2 on Gemma 4, trained it to copy the larger Gemini Embedding 2, then tuned it with contrastive training. All media types share 1 vector space, and the full model fits in 567 MB on a Pixel 11 Pro with 4-bit weights.

他们基于 Gemma 4 构建了 EmbeddingGemma 2,通过训练使其模仿更大的 Gemini Embedding 2,随后使用对比训练进行微调。所有媒体类型共享同一个向量空间,且该完整模型在 Pixel 11 Pro 上使用 4-bit 权重时仅需 567 MB 空间。

Embedding speech directly beat transcribing it, 69.54 versus 57.59 on the MSEB spoken-query retrieval benchmark. Code search scored 78.68 on MTEB Code, up from 68.76 for EmbeddingGemma 1.

直接嵌入语音的效果优于将其转录,在 MSEB 语音查询检索基准测试中得分为 69.54,而转录方式仅为 57.59。在 MTEB Code 代码搜索任务中得分达到 78.68,高于 EmbeddingGemma 1 的 68.76。

更进一步:量化金融体系

看懂新闻只是起点——沿量化金融路径,把它变成能交付的工程能力

进入量化体系 →

相似阅读

关联信息,但可能不是同一事件