跳到正文
FunCoding

搜索

搜索文档、Skill 和 MCP

浏览器视觉模型与沙箱运行

区分可访问性树和截图识别,处理 Seatbelt 与容器连接宿主 Chrome 的限制。

默认浏览器操作依可访问性树中的元素 uid。颜色、视觉错误提示等不容易从树识别的任务,可配置 visualModel 启用视觉代理。

视觉模型

设置 agents.browser.visualModel 后提供 analyze_screenshot,截图发送给视觉模型分析,再以返回的坐标和描述执行 click_at。它不是完全本地的截图识别。

官方示例使用 gemini-2.5-computer-use-preview-10-2025,属于会变化的预览模型;应确认账号和当前服务仍支持。视觉代理要求 API key 或 Vertex AI 认证,Sign in with Google 不支持该能力。

macOS Seatbelt

CLI 位于 sandbox-exec 时,persistent 和 isolated 模式都会强制变为 isolated 且开启 headless,以避免持久 profile 的文件权限问题;existing 模式不做这项覆盖。因此配置 persistent 不保证沙箱中保留同一 profile。

Docker/Podman

官方实现说明容器内不提供 Chrome,浏览器代理默认禁用,只有 sessionMode existing 时启用并连接宿主。连接地址使用解析后的 host.docker.internal IP 和 9222 端口;9222 当前硬编码,不能任意替换。

需要宿主 Chrome 已开启远程调试,CLI 配置 existing 与允许域。官方启动入口为:

GEMINI_SANDBOX=docker SANDBOX_PORTS=9222 gemini

这仅展示 CLI 一侧配置,不会替你启动宿主 Chrome,也不保证所有宿主网络环境都可达。远程调试端点关联真实浏览器会话,应限制到所需连接环境。

排障顺序

确认代理开启、Chrome 版本满足、首次同意完成,再检查 sessionMode、沙箱自动覆盖和端口。视觉功能不可用时先查认证方式与模型支持,不应把它误诊为普通浏览器导航故障。