Skip to content
FunCoding

Search

Search docs, Skills and MCP

Gemma 本地路由安装

使用 gemini gemma 安装本地分类器,检查运行状态、自动启动与云端回退。

This page has not been translated into English yet. The original Chinese version is shown below.

实验性本地路由用 Gemma 3 1B 判断请求的复杂度,再把简单请求交给 Gemini Flash、复杂请求交给 Gemini Pro。分类在本机运行,后续任务仍由所选云端模型处理。

自动安装

gemini gemma setup

该流程下载运行时、拉取约 1 GB 模型、写入配置并启动服务。使用模型前会提示接受 Gemma 条款。企业环境无法自动下载时,可按手动设置准备运行时和模型。

setup 参数作用
--port 8080指定自定义端口,8080 是示例值
--no-start安装后暂不启动服务
--force重新下载所需内容
--skip-model只准备二进制,跳过模型下载

查看服务与路由请求

gemini gemma status
gemini gemma logs

先通过 status 核对安装和服务状态,再在另一个终端正常使用 CLI,观察日志中是否出现分类请求。会话内 /gemma 提供状态面板。只看到服务进程存在,不能替代对实际分类请求的检查。

启停与自动启动

gemini gemma start
gemini gemma stop

安装指南描述 setup 后 CLI 启动时会自动启动 LiteRT 服务;官方设置 Schema 中 experimental.gemmaModelRouter.autoStartServer 的原始默认值为 false。因此应查看安装流程后的实际配置,不将安装后的行为当作所有手动配置的默认行为。

路由器 enabled 原始默认值也是 false。需要明确启用自动启动时,在已完成运行时与模型准备的基础上配置:

{
  "experimental": {
    "gemmaModelRouter": {
      "enabled": true,
      "autoStartServer": true
    }
  }
}

这些设置需要重启生效。自定义二进制位置由 binaryPath 指定;空字符串表示使用默认目录 ~/.gemini/bin/litert/。

服务失败与停用

本地分类服务不可用时,官方说明 CLI 会静默回退到云端分类器。因此 gemma stop 只是停止当前服务,不意味着后续分类请求一定保持离线,也不能防止已配置的自动启动。

要关闭本地路由功能,将 experimental.gemmaModelRouter.enabled 设为 false 并重启 CLI。不要把这项设置解释成关闭所有模型访问或网络功能;主模型选择仍按路由优先级处理。