Skip to content
FunCoding

Search

Search docs, Skills and MCP

本地模型

使用兼容端点接入本地推理服务,并核对端口、模型 ID 和工具调用能力。

This page has not been translated into English yet. The original Chinese version is shown below.

本地模型通过运行中的推理服务接入,OpenCode 配置本身不会自动创建或启动这些服务。官方主要使用 @ai-sdk/openai-compatible 对接本地 OpenAI 兼容 API。

官方示例端点

服务示例 baseURL说明
Atomic Chathttp://127.0.0.1:1337/v1文档给出的默认接口
llama.cpp 的 llama-serverhttp://127.0.0.1:8080/v1以实际服务监听配置为准
LM Studiohttp://127.0.0.1:1234/v1以实际服务监听配置为准
Ollamahttp://localhost:11434/v1使用 OpenAI 兼容接口
NVIDIA NIMhttp://localhost:8000/v1在 provider.nvidia.options.baseURL 覆盖

这些端点来自官方示例,除明确说明外不作为所有版本的固定默认。跨容器或 WSL 使用时,localhost 指向哪个环境也需要核对。

配置本地提供商

为服务定义 provider ID、npm、options.baseURL 和 models。自定义 provider ID 可以自行命名,但模型 ID 必须与实际服务一致,不能任取显示名称。

Atomic Chat 示例使用 curl http://127.0.0.1:1337/v1/models 查询已加载模型的 ID。其他服务也应按照自己的模型目录选择。通用 JSON 结构见自定义提供商。

工具调用与容量

模型能回答文本,不代表能正确调用编辑和 shell 工具。官方建议选择具有较强工具调用能力的模型;Ollama 工具调用异常时,可尝试提高 num_ctx,文档给出的起点为约 16k–32k。

这只是排查建议,不保证任何模型都能通过增大上下文获得工具能力。llama.cpp 示例中的 context/output 限制同样是示例值,应按实际模型和服务配置填写。

Ollama Cloud 与本地 Ollama 不同

Cloud 方式在 Ollama 账户创建 API Key,再在 /connect 选择 Ollama Cloud。官方还要求在使用云模型前先拉取模型信息,示例命令是 ollama pull gpt-oss:20b-cloud,之后再从 /models 选择。

该示例型号不是永久推荐或保证可用清单。云端服务凭据和本地兼容端点是不同接入方式,不能因为名字相同就混用。