Skip to content
FunCoding

Search

Search docs, Skills and MCP

浏览器视觉模型与沙箱运行

区分可访问性树和截图识别,处理 Seatbelt 与容器连接宿主 Chrome 的限制。

This page has not been translated into English yet. The original Chinese version is shown below.

默认浏览器操作依可访问性树中的元素 uid。颜色、视觉错误提示等不容易从树识别的任务,可配置 visualModel 启用视觉代理。

视觉模型

设置 agents.browser.visualModel 后提供 analyze_screenshot,截图发送给视觉模型分析,再以返回的坐标和描述执行 click_at。它不是完全本地的截图识别。

官方示例使用 gemini-2.5-computer-use-preview-10-2025,属于会变化的预览模型;应确认账号和当前服务仍支持。视觉代理要求 API key 或 Vertex AI 认证,Sign in with Google 不支持该能力。

macOS Seatbelt

CLI 位于 sandbox-exec 时,persistent 和 isolated 模式都会强制变为 isolated 且开启 headless,以避免持久 profile 的文件权限问题;existing 模式不做这项覆盖。因此配置 persistent 不保证沙箱中保留同一 profile。

Docker/Podman

官方实现说明容器内不提供 Chrome,浏览器代理默认禁用,只有 sessionMode existing 时启用并连接宿主。连接地址使用解析后的 host.docker.internal IP 和 9222 端口;9222 当前硬编码,不能任意替换。

需要宿主 Chrome 已开启远程调试,CLI 配置 existing 与允许域。官方启动入口为:

GEMINI_SANDBOX=docker SANDBOX_PORTS=9222 gemini

这仅展示 CLI 一侧配置,不会替你启动宿主 Chrome,也不保证所有宿主网络环境都可达。远程调试端点关联真实浏览器会话,应限制到所需连接环境。

排障顺序

确认代理开启、Chrome 版本满足、首次同意完成,再检查 sessionMode、沙箱自动覆盖和端口。视觉功能不可用时先查认证方式与模型支持,不应把它误诊为普通浏览器导航故障。