零训练将EmbeddingGemma-2推至MAEB音频榜首
研究者利用PCA将Conformer中间层投影到EmbeddingGemma-2的256维零空间中,无需训练即将MAEB音频基准宏平均分从49.3%提升至54.4%,排名从第26位升至第1。分析指出,文本对齐会过滤掉情感、音色等副语言特征。
EmbeddingGemma 2 是 Google DeepMind 发布的开放多模态嵌入模型,把文本、图像、视频和音频映射到统一的 768 维空间,总参数 740M,支持 100 多种语言,并可在手机和笔记本等消费级硬件上运行。近期报道围绕它的本地部署与改造展开:Google 推出由它驱动的离线 Mac 会议记录工具 AI Edge Foresight;开发者发布 MIT 许可的 Mac 应用 DigUp,用 865MB 的 Q8_0 GGUF 模型做本地文件搜索;还有人把它改造成端侧语音转文字模型,在 MacBook Air 上约 13 秒处理一小时音频,词错率约 5%。此外,一项零训练方法通过 PCA 把中间 Conformer 层投影到模型的 256 维零空间,将 MAEB 音频宏平均分从 49.3% 提升到 54.4%,排名从第 26 升至第 1。
研究者利用PCA将Conformer中间层投影到EmbeddingGemma-2的256维零空间中,无需训练即将MAEB音频基准宏平均分从49.3%提升至54.4%,排名从第26位升至第1。分析指出,文本对齐会过滤掉情感、音色等副语言特征。
开发者将Google多模态嵌入模型EmbeddingGemma 2改造为语音转文本模型,在MacBook Air上约13秒处理一小时音频,词错误率约5%,音频全程不出设备。
开发者发布开源Mac应用DigUp,利用Google DeepMind的EmbeddingGemma 2在本地按内容搜索文本、图像、音视频,基于llama.cpp与Metal,采用865MB Q8_0 GGUF模型,无需Python,免费且为MIT许可。
谷歌推出AI Edge Foresight,一款完全离线运行的Mac会议记录应用,基于7.4亿参数的EmbeddingGemma 2端侧模型,支持转录、生成笔记及基于文档知识库的实时问答,被视为Granola的竞品。
谷歌DeepMind发布EmbeddingGemma 2开源多模态嵌入模型,将文本、图像、视频和音频映射到统一768维向量空间。模型总计7.4亿参数,支持100多种语言,代码任务较前代提升约14%,可在手机和笔记本等消费级硬件上低延迟运行。