跳到正文
FunCoding

搜索

搜索文档、Skill 和 MCP

Gemma 本地路由安装

使用 gemini gemma 安装本地分类器,检查运行状态、自动启动与云端回退。

实验性本地路由用 Gemma 3 1B 判断请求的复杂度,再把简单请求交给 Gemini Flash、复杂请求交给 Gemini Pro。分类在本机运行,后续任务仍由所选云端模型处理。

自动安装

gemini gemma setup

该流程下载运行时、拉取约 1 GB 模型、写入配置并启动服务。使用模型前会提示接受 Gemma 条款。企业环境无法自动下载时,可按手动设置准备运行时和模型。

setup 参数作用
--port 8080指定自定义端口,8080 是示例值
--no-start安装后暂不启动服务
--force重新下载所需内容
--skip-model只准备二进制,跳过模型下载

查看服务与路由请求

gemini gemma status
gemini gemma logs

先通过 status 核对安装和服务状态,再在另一个终端正常使用 CLI,观察日志中是否出现分类请求。会话内 /gemma 提供状态面板。只看到服务进程存在,不能替代对实际分类请求的检查。

启停与自动启动

gemini gemma start
gemini gemma stop

安装指南描述 setup 后 CLI 启动时会自动启动 LiteRT 服务;官方设置 Schema 中 experimental.gemmaModelRouter.autoStartServer 的原始默认值为 false。因此应查看安装流程后的实际配置,不将安装后的行为当作所有手动配置的默认行为。

路由器 enabled 原始默认值也是 false。需要明确启用自动启动时,在已完成运行时与模型准备的基础上配置:

{
  "experimental": {
    "gemmaModelRouter": {
      "enabled": true,
      "autoStartServer": true
    }
  }
}

这些设置需要重启生效。自定义二进制位置由 binaryPath 指定;空字符串表示使用默认目录 ~/.gemini/bin/litert/。

服务失败与停用

本地分类服务不可用时,官方说明 CLI 会静默回退到云端分类器。因此 gemma stop 只是停止当前服务,不意味着后续分类请求一定保持离线,也不能防止已配置的自动启动。

要关闭本地路由功能,将 experimental.gemmaModelRouter.enabled 设为 false 并重启 CLI。不要把这项设置解释成关闭所有模型访问或网络功能;主模型选择仍按路由优先级处理。