技巧精选
hunch 项目用 EmbeddingGemma 2 打造可实时学习的本地语义决策系统
精选理由
用谷歌 EmbeddingGemma 2 搭了个本地小模型，22 毫秒出判断，跟着大模型边用边学，把高频分类和路由任务接过去，省 token 还不联网。
开源项目 hunch 采用 Google 的 EmbeddingGemma 2 加轻量分类器加教师模型蒸馏的架构，构建本地语义决策系统。文本判断延迟约 22 毫秒，图片约 100 毫秒，每百万 token 成本不到 3 美分，全程在 CPU 本地运行。其思路是由大模型充当老师提供判断，本地小模型边用边学，逐步接管工具调用是否失败、日志是否异常、用户意图分类、Agent 路由等高频判断任务，复杂问题仍交给大模型。该架构适用于 Agent 日志分析、工具调用监控、实时分类和任务路由场景。
原文 · AIGCLINK
又有人把谷歌的EmbeddingGemma 2玩出了新花样！做成了一个能实时学习的本地语义决策系统，CPU上就能实现毫秒级判断
文本22毫秒出一次判断，图片约100毫秒，每百万token成本不到3美分，本地运行
项目叫hunch，让大模型当老师，让本地小模型边用边学，逐渐接管大模型的高频判断任务
架构：EmbeddingGemma 2+轻量分类器+教师模型蒸馏
像工具调用是否失败、日志是否异常、用户意图属于哪一类、应该路由给哪个Agent，这些判断每次都调用大模型，既有延迟也会持续消耗Token
大模型先提供判断、充当老师，本地小模型持续学习，把重复任务接过去，复杂问题继续交给大模型，简单、高频、稳定的任务交给本地轻量模型
让AI的高频判断形成一个持续学习、逐渐降低成本的闭环，让小模型也能承担更有实际价值的任务
对Agent日志分析、工具调用监控、实时分类和任务路由，这种架构比较有潜力
#hunch #EmbeddingGemma2 #语义决策系统
