docs/cht/guochandamoxing.md
::: details 同時使用多個大模型介面?
如果只是有多個不同的金鑰想要輪詢,只需用|分割就可以了。
但有時想要同時使用多個不同的 API 介面位址/Prompt/Model/參數等來對比翻譯效果。方法是:
大部份常見大模型平台的API 介面位址可以在下拉選單中選取,但可能會有遺漏。對於其他沒有列舉出來的介面,請自行查閱平台的文件來填寫。
API Key可以在平台取得。對於新增的多個 Key,會自動進行輪詢,並根據錯誤回饋調整 Key 的權重。
大部份平台填寫好API 介面位址和API Key後,點擊model旁的重新整理按鈕即可取得可用的模型清單。
如果平台不支援取得模型清單的介面,或預設清單中沒有要用的模型時,那麼請參照介面官方文件手動填寫模型。
啟用後,將以流式逐漸顯示模型輸出的內容,否則會在模型完整輸出後一次性顯示所有內容。
啟用後將不顯示<think>標籤包裹的內容。若啟用了隱藏思考過程,會顯示目前的思考進度。
會附帶若干筆歷史的原文和翻譯介面提供給大模型,以優化翻譯。設定為0將停用此優化。
幾種不同的控制輸出內容的手段,可以根據喜好設定,或者使用預設即可。
自訂 System Prompt 和 User Message 中可以使用變數來引用一些訊息:
{sentence}:目前欲翻譯的文字。{srclang}和{tgtlang}:來源語言和目標語言。如果 Prompt 中僅使用英文,則會取代成語言名稱的英文翻譯,否則會取代成語言名稱的目前 UI 語言翻譯。{contextOriginal[N]}和{contextTranslation[N]}和{contextBoth[N]}:N筆歷史原文、譯文、兩者。N與「附帶上下文個數」無關,輸入時需替換成整數。{DictWithPrompt[XXXXX]}:此欄位可以引用「專有名詞翻譯」中的詞條。當沒有匹配到的詞條時,該欄位會被清除以避免破壞翻譯內容。其中,XXXXX是一段引導 LLM 使用給定的詞條來優化翻譯的 Prompt,可以自行定義,或停用自訂使用者訊息以使用預設的引導 Prompt。對於部份平台的部份模型,可能top p和frequency penalty等參數不被介面接受,或者max tokens參數被廢棄並改為max completion tokens。啟用或停用開關可以解決這些問題。
部份平台支援的思考強度控制。
對於 Gemini 平台,會自動將選項映射為 Gemini 的 thinkingBudget,映射規則為:
none/minimal -> 0(停用思考,但不適用於 Gemini-2.5-Pro 模型),low -> 512,medium -> -1(開啟動態思維),high/xhigh -> 24576。
部份平台支援的思考模式開關。
以上只提供了一些常見的參數,如果使用的平台提供了其他未列出的有用的參數,可以自行新增鍵值。
::: tabs
== OpenAI
API Key https://platform.openai.com/api-keys
== Gemini
API Key https://aistudio.google.com/app/apikey
== NVIDIA
API Key https://build.nvidia.com/explore/discover
== Claude
API Key https://console.anthropic.com/
Model https://docs.anthropic.com/en/docs/about-claude/models
== Cohere
API Key https://dashboard.cohere.com/api-keys
== xAI
API Key https://console.x.ai/
== Groq
API Key https://console.groq.com/keys
== OpenRouter
API Key https://openrouter.ai/settings/keys
== Mistral AI
API Key https://console.mistral.ai/api-keys/
== Azure
API 介面位址 https://{endpoint}.openai.azure.com/openai/deployments/{deployName}/chat/completions?api-version=2023-12-01-preview
其中,將{endpoint}和{deployName}取代成您的 Endpoint 和 DeployName
== Cerebras
API Key https://cloud.cerebras.ai/ -> API Keys
:::
::: tabs
== DeepSeek
API Key https://platform.deepseek.com/api_keys
== Xiaomi MiMo
API Key https://platform.xiaomimimo.com/#/console/api-keys
== 阿里雲百煉大模型
API Key https://bailian.console.aliyun.com/?apiKey=1#/api-key
Model https://help.aliyun.com/zh/model-studio/getting-started/models
== 字節跳動火山引擎
API Key 建立 API Key 取得
Model 建立推理接入點後,填入接入點而非模型
== 月之暗面
API Key https://platform.moonshot.cn/console/api-keys
== 智譜 AI
API Key https://bigmodel.cn/usercenter/apikeys
== 矽基流動
API Key https://cloud-hk.siliconflow.cn/account/ak
== 訊飛星火大模型
API Key 參考官方文件取得 APIKey 和 APISecret 後,按照 APIKey:APISecret 的格式填入
== 騰訊混元大模型
<!-- **SecretId** & **SecretKey** https://console.cloud.tencent.com/cam/capi -->API Key 參考官方文件
Model https://cloud.tencent.com/document/product/1729/97731
== 百度千帆大模型
API Key https://cloud.baidu.com/doc/WENXINWORKSHOP/s/Um2wxbaps
Model https://cloud.baidu.com/doc/WENXINWORKSHOP/s/Fm2vrveyu
[!WARNING] API Key 請使用百度智能雲 IAM 的 Access Key、Secret Key 來生成介面的 BearerToken 後作為 API Key 填入,或者按照
Access Key:Secret Key的格式直接將兩者一起填入 API Key 中。注意,不是千帆 ModelBuilder 的舊版 v1 版本介面的 API Key、Secret Key,兩者不能通用。
== MiniMax
API Key https://platform.minimaxi.com/document/Fast%20access?key=66701cf51d57f38758d581b2
:::
也可以使用new-api等API中繼工具,更方便地聚合管理多種大模型平台模型和多個金鑰。
使用方法可以參考此文章.
可以使用 llama.cpp、Ollama 之類的工具進行模型的部署,然後將位址和模型填入。