Back to Daily Stock Analysis

LLM 服务商配置指南

docs/llm-providers.md

3.15.015.6 KB
Original Source

LLM 服务商配置指南

本文面向首次配置用户,说明如何选择 LLM 配置方式、如何把 Web 设置页「AI 模型配置」预设映射到 .env / GitHub Actions,以及如何处理常见检测错误。

实际可用模型、额度、区域限制和价格以各服务商控制台为准;如果模型列表拉取失败,可在 Web 中手动填写模型名。Web 设置页展示的 provider 能力标签、官方来源链接和配置注意事项来自静态 provider template,仅用于配置参考,不代表运行时能力已验证通过。

先选配置方式

方式适合谁主要变量说明
极简 legacy只想快速跑通一个模型的用户LITELLM_MODEL + 对应 provider key最少变量,适合本地快速开始;不适合复杂 fallback。
Channels需要多个 provider、多个 key 或 fallback 的用户LLM_CHANNELS + LLM_<CHANNEL>_*推荐默认路径;Web 设置页保存的也是这一层配置。
YAML熟悉 LiteLLM 路由、负载均衡和企业网关的用户LITELLM_CONFIG / LITELLM_CONFIG_YAML优先级最高;一旦有效生效,Channels 和 legacy 不再参与本次请求。

优先级保持不变:LITELLM_CONFIG / LITELLM_CONFIG_YAML > LLM_CHANNELS > legacy provider keys。P4 只补文档,不迁移、不清空、不静默改写旧配置。

Web 设置页路径

推荐优先使用 Web 设置页完成 Channels 配置:

  1. 打开设置页的「AI 模型配置」。
  2. 在「快速添加渠道」选择服务商预设。
  3. 填入 API Key,必要时点击「获取模型」。
  4. 选择主模型、Agent 主模型、备选模型和 Vision 模型后保存。
  5. 点击「测试连接」确认鉴权、模型名、额度和响应格式正常。
  6. 如需确认 JSON / tools / stream / vision 能力,手动勾选「运行时能力检测」后再触发;该检测会产生真实 LLM 请求,结果只代表当前账号、模型和 endpoint 的一次 best-effort 检测,不会写回 .env,也不会阻止保存。

Channels 示例

DeepSeek 官方渠道

env
LLM_CHANNELS=deepseek
LLM_DEEPSEEK_PROTOCOL=deepseek
LLM_DEEPSEEK_BASE_URL=https://api.deepseek.com
LLM_DEEPSEEK_API_KEY=sk-xxx
LLM_DEEPSEEK_MODELS=deepseek-v4-flash,deepseek-v4-pro
LITELLM_MODEL=deepseek/deepseek-v4-flash

OpenAI-compatible 聚合或自定义网关

env
LLM_CHANNELS=my_proxy
LLM_MY_PROXY_PROTOCOL=openai
LLM_MY_PROXY_BASE_URL=https://your-proxy.example.com/v1
LLM_MY_PROXY_API_KEY=sk-xxx
LLM_MY_PROXY_MODELS=gpt-5.5,claude-sonnet-4-6

OpenAI-compatible Base URL 只填到服务商兼容入口,不额外拼接 /chat/completions。本地 .env、Docker 和自托管脚本可以直接使用自定义 channel;GitHub Actions 需要 workflow 显式透传同名 LLM_MY_PROXY_* 变量。

常用服务商预设

服务商渠道名协议Base URL模型示例
AIHubmixaihubmixopenaihttps://aihubmix.com/v1gpt-5.5,claude-sonnet-4-6,gemini-3.1-pro-preview
Anspire Openanspireopenaihttps://open-gateway.anspire.cn/v6(示例)Doubao-Seed-2.0-lite,Doubao-Seed-2.0-pro,qwen3.5-flash,MiniMax-M2.7(示例)
OpenAIopenaiopenaihttps://api.openai.com/v1gpt-5.5,gpt-5.4-mini
DeepSeekdeepseekdeepseekhttps://api.deepseek.comdeepseek-v4-flash,deepseek-v4-pro
Geminigeminigemini留空gemini-3.1-pro-preview,gemini-3-flash-preview
Anthropic Claudeanthropicanthropic留空claude-sonnet-4-6,claude-opus-4-7
Kimi / Moonshotmoonshotopenaihttps://api.moonshot.cn/v1kimi-k2.6,kimi-k2.5
通义千问 / DashScopedashscopeopenaihttps://dashscope.aliyuncs.com/compatible-mode/v1qwen3.6-plus,qwen3.6-flash
智谱 GLMzhipuopenaihttps://open.bigmodel.cn/api/paas/v4glm-5.1,glm-4.7-flash
MiniMaxminimaxopenaihttps://api.minimax.io/v1MiniMax-M2.7,MiniMax-M2.7-highspeed
火山方舟 / 豆包volcengineopenaihttps://ark.cn-beijing.volces.com/api/v3doubao-seed-1-6-251015,doubao-seed-1-6-thinking-251015
硅基流动 / SiliconFlowsiliconflowopenaihttps://api.siliconflow.cn/v1deepseek-ai/DeepSeek-V3.2,Qwen/Qwen3-235B-A22B-Thinking-2507
OpenRouteropenrouteropenaihttps://openrouter.ai/api/v1~anthropic/claude-sonnet-latest,~openai/gpt-latest
Ollamaollamaollamahttp://127.0.0.1:11434llama3.2,qwen2.5

官方来源与兼容性

服务商官方来源兼容说明
Anspire OpenAnspire OpenANSPIRE_API_KEYS 在未配置更高优先级 OpenAI-compatible 来源时可用于大模型网关与搜索;页面与 .env 默认示例为 openai/Doubao-Seed-2.0-lite + https://open-gateway.anspire.cn/v6,是否可用以控制台与模型权限为准。
OpenAI模型列表官方模型页建议从 gpt-5.5 开始,低延迟/低成本场景使用 gpt-5.4-minigpt-5.4-nano
DeepSeek快速开始官方 OpenAI Base URL 为 https://api.deepseek.comdeepseek-chat / deepseek-reasoner 将于 2026-07-24 弃用,当前模板直接使用 deepseek-v4-flash / deepseek-v4-pro
Gemini模型列表Gemini 3.1 Pro / Gemini 3 Flash 仍为 preview;如需生产稳定性,可在控制台改回 2.5 稳定模型。
Anthropic Claude模型概览Claude 当前 API ID 包含 claude-sonnet-4-6claude-opus-4-7;Sonnet 更适合作为默认性价比入口。
Kimi / MoonshotKimi K2.6 快速开始模型列表官方推荐 kimi-k2.6kimi-k2 系列将在 2026-05-25 下线,旧 moonshot-v1-* 仅保留为稳定旧工作负载选择。
通义千问 / DashScope文本生成百炼推荐 qwen3.6-plus,确认效果后可用 qwen3.6-flash 降低成本。
智谱 GLM模型概览GLM-5.1glm-5.1 是当前旗舰;glm-4.7-flash 作为轻量/免费模型示例。
MiniMaxOpenAI API 兼容获取模型列表官方 OpenAI-compatible Base URL 为 https://api.minimax.io/v1,并列出 MiniMax-M2.7MiniMax-M2.7-highspeed。中国区 Coding 工具场景可能使用 .com/Anthropic 专用入口,以控制台为准。
火山方舟 / 豆包在线推理(常规)模型列表官方示例使用 https://ark.cn-beijing.volces.com/api/v3doubao-seed-1-6-251015;如使用 Coding Plan,请改用其专用 Base URL 和模型名,不要套用本表的在线推理模板。
SiliconFlow模型列表获取模型列表 API平台模型实时更新且 /models 需要 API Key;模板只给常见新模型示例,保存前建议在 Web 设置页点击「获取模型」确认账号可见性。
OpenRouterModels APIOpenRouter 支持 ~anthropic/claude-sonnet-latest~openai/gpt-latest 等 latest router alias;2026-05-03 的一次手动 live smoke 以 Claude Sonnet latest 作为默认示例通过,GPT latest 保留为可按账号权限切换的备选。
LiteLLMOpenAI-Compatible EndpointsOpenAI-compatible 端点需要把运行时模型写成 openai/<model>,Base URL 只填到服务商兼容入口,不额外拼接 /chat/completions

本页预设只保证配置形状与当前依赖的 OpenAI-compatible 路由规则一致;实际连通性仍取决于服务商账号权限、地域、额度和模型开通状态。当前 LiteLLM 版本约束以 requirements.txt 为准。

OpenAI-compatible 与 LiteLLM 规则

  • OpenAI-compatible provider 的 channel protocol 通常是 openai
  • 运行时模型名通常写成 openai/<model>;例如自定义网关里的 gpt-5.5 可以作为 openai/gpt-5.5 被 LiteLLM 路由。
  • Qwen/...deepseek-ai/... 这类是服务商或模型仓库组织名前缀,不等同于 LiteLLM provider prefix;不要因为它们包含斜杠就误判为 provider/model 路由。
  • Base URL 只填官方或网关给出的兼容入口,通常到 /v1/api/v3 或厂商文档指定路径;不要手动追加 /chat/completions
  • 如果使用 YAML 模式,按 LiteLLM model_list / litellm_params 的原生语义配置;YAML 有效时优先级高于 Channels。

GitHub Actions 配置

仓库自带 .github/workflows/daily_analysis.yml 只会透传 workflow 中显式列出的环境变量。使用渠道模式时,先在 Repository Variables 或 Secrets 中设置 LLM_CHANNELS,再按渠道名补齐对应 LLM_<CHANNEL>_*

字段建议位置说明
LLM_CHANNELSVariables 或 Secrets逗号分隔渠道名,例如 deepseek,minimax,volcengine
LLM_<CHANNEL>_PROTOCOLVariables 或 Secrets非敏感,通常为 openaideepseekgeminianthropicollama
LLM_<CHANNEL>_BASE_URLVariables 或 Secrets非敏感时优先放 Variables;私有网关地址可放 Secrets。
LLM_<CHANNEL>_MODELSVariables 或 Secrets非敏感模型列表,逗号分隔。
LLM_<CHANNEL>_ENABLEDVariables 或 Secrets可选,未配置时默认启用;设为 false 可跳过该渠道。
LLM_<CHANNEL>_API_KEY / LLM_<CHANNEL>_API_KEYSSecrets密钥字段必须放 Repository Secrets;同名 Variables 不会被 workflow 读取。
LLM_<CHANNEL>_EXTRA_HEADERSSecrets 或 VariablesJSON 字符串;只要包含鉴权、租户、组织或私有网关信息,就应放 Secrets。
LITELLM_CONFIGVariables 或 SecretsYAML 文件路径;配合 LITELLM_CONFIG_YAML 使用时,workflow 会写入该路径。
LITELLM_CONFIG_YAMLSecrets 优先YAML 内容本身可能包含私有网关或 header,建议放 Secrets。

默认 workflow 已显式映射 primarysecondaryaihubmixanspiredeepseekdashscopezhipumoonshotminimaxvolcenginesiliconflowopenroutergeminianthropicopenaiollama。如果使用自定义渠道名(如 my_proxy),仅在 Repository Secrets / Variables 中新增 LLM_MY_PROXY_* 不会自动生效,需要同步扩展 workflow 的 env: 映射;本地 .env、Docker 和自托管脚本不受这个限制。

Ollama 默认 Base URL http://127.0.0.1:11434 主要面向本地、Docker 或能访问该服务的 self-hosted runner。GitHub-hosted runner 通常没有本地 Ollama 服务,直接配置 LLM_CHANNELS=ollama 大概率会连接失败。

常见错误与处理建议

details.reason / 现象常见原因建议处理
missing_api_keyAPI Key 为空,或 API_KEYS 逗号分隔后没有任何非空片段。填入至少一个有效 key;本地 Ollama 或 localhost 兼容服务除外。
api_key_rejected服务商返回 401 / 403,key 无效、权限不足或项目未开通。重新复制 key,检查账号项目、组织、区域和模型权限。
insufficient_balance余额不足、账单未开通或套餐额度耗尽。到服务商控制台确认余额、账单状态和模型套餐。
quota_exceeded账号或组织配额耗尽。检查套餐、项目额度、组织额度和服务商账单页。
rate_limitRPM / TPM / 并发限制触发。降低并发,换轻量模型,或在控制台提升限额。
timeout请求超时,可能是网络慢、服务商响应慢或本地服务无响应。检查代理、防火墙、Base URL、模型冷启动和 timeout 设置。
dns_error域名无法解析。检查 Base URL 拼写、DNS、代理和运行环境网络。
tls_errorTLS 证书、代理或中间人证书异常。检查 HTTPS 证书链、公司代理、自签证书和系统时间。
connection_refused目标端口无服务,或本地服务未启动。检查 Base URL、端口、防火墙;Ollama 确认本机或 runner 能访问服务。
endpoint_not_found/models 或 chat endpoint 路径不存在。确认 Base URL 是否填到兼容入口,不要多拼或少拼厂商要求的路径。
model_access_denied模型不存在、未开通或账号不可见。在 Web 中点击「获取模型」;不支持 /models 时以控制台模型 ID 为准。
provider_prefix_mismatchLiteLLM provider prefix 与渠道协议不匹配。OpenAI-compatible 渠道通常使用 openai/<model>;不要把 Qwen/...deepseek-ai/... 误当 provider prefix。
non_json服务商返回非 JSON 或代理返回 HTML / 文本错误页。检查 Base URL、网关路径、代理错误页和 Chat Completions 兼容入口。
null_responseLiteLLM 没有返回可解析响应对象。检查 provider 是否兼容 Chat Completions,必要时换模型或 endpoint 重试。
null_contentChat completion 返回成功但 content 为空。换用兼容文本输出的模型,或检查是否强制 tool / vision 响应。
malformed_choices响应缺少兼容的 choices 结构。确认 endpoint 是 Chat Completions 兼容接口,不是 Embeddings、Responses 或其它协议入口。
capability_unsupportedJSON / tools / stream / vision smoke 参数不被当前模型或 endpoint 支持。换支持该能力的模型,或把结果视为当前账号、模型和 endpoint 的一次能力诊断,不代表 provider 全局不支持。
unknown_error服务商或客户端抛出未能细分的异常。先查看 details.message / 日志中的原始错误,再按网络、鉴权、模型名和额度逐项排查。

完整分类逻辑以 src/services/system_config_service.py 中的错误分类实现为准。

运行时能力检测边界

  • JSON / tools / stream / vision smoke 必须在 Web 中显式触发。
  • 检测会产生真实 LLM 请求,可能带来 token / 图像输入费用、RPM/TPM 限流、余额不足或超时。
  • 检测结果只代表当前账号、模型和 endpoint 的一次 best-effort 运行时结果。
  • 检测结果不会写回 .env,也不会阻止保存配置。
  • 能力检测失败不等于 provider 全局不支持;失败可能来自账号权限、模型未开通、endpoint 区域、余额、服务商兼容层或 LiteLLM 转换路径。

回滚方式

  • Web 设置页:删除或禁用对应 channel,重新选择旧的主模型 / Agent 模型 / fallback。
  • .env:恢复备份中的 LLM_*LITELLM_MODELAGENT_LITELLM_MODELVISION_MODELLITELLM_FALLBACK_MODELS
  • 从 Channels 回到 legacy:删除或清空 LLM_CHANNELS,保留 legacy provider key 和 LITELLM_MODEL
  • 从 YAML 回到 Channels / legacy:移除 LITELLM_CONFIG / LITELLM_CONFIG_YAML,重启后下层配置重新生效。
  • 桌面端:使用导出的配置备份恢复。
  • PR 回滚:revert 对应 docs PR;P4 不涉及配置、数据或代码迁移。