繁中 ▾

中文 LLM API翻譯

取得 API 金鑰

已於 更新

適合中文應用程式的 OpenRouter 替代方案

路由器提供多種模型;單一託管模型則提供一個穩定的端點。以下是針對中文應用程式的決策指南。

多線集線器旁有一個發光的立方體,對比路由器與單一模型

簡短回答

如果你正在尋找適合中文應用程式使用的 OpenRouter 替代方案,誠實的答案取決於你喜歡 OpenRouter 的什麼。如果你喜歡的是單一金鑰背後的多模型選擇,此服務並非替代品,因為它只提供單一模型。如果你喜歡的是具有可預測定價的 OpenAI 相容端點以用於中文產品,單一託管模型可能更容易運行。

以下提供簡易比較、決策清單以及嘗試兩者的程式碼變更。你可以使用試用額度測試此 API,並同時保留 OpenRouter 帳戶,因為切換只需更改 Base URL。

各選項的說明

路由器(例如 OpenRouter)此服務
核心概念單一 API 金鑰即可存取來自多個供應商的許多模型單一託管開放權重模型,透過 OpenAI 相容 API 提供服務
模型選擇每次請求時選擇固定:模型 ID uncensored
定價依模型而定;請查看其當前定價每 1M 輸入 $0.15,每 1M 輸出 $0.50
內容行為由每個模型及其託管方設定經過調整,可在合法成人用途下回答時不拒絕內容
額外功能多種模型功能,視模型而定聊天、回應、串流輸出、工具、JSON 模式;無圖片、音訊或嵌入

路由器欄位的所有內容均為通用資訊,可能已變更,請閱讀其當前文件。右欄顯示此服務今日提供的內容。

當路由器是較佳的選擇時

誠實面對這些情況,如果以下任何一項符合你,請使用路由器:

  • 你想比較幾個供應商模型在中文提示詞上的表現,並為每個任務選擇最佳模型。
  • 你需要特定名稱的模型,例如特定中文實驗室發布的版本,在同一應用程式中使用。
  • 當某個模型不可用時,你想要自動故障轉移。
  • 你需要透過同一個金鑰存取嵌入、視覺或其他端點。

單一模型服務無法做到上述任何一點。它不是跨供應商的路由器,也不是任何模型供應商的官方 API。如果模型選擇是你的主要需求,路由器勝出。

單一託管模型更適合的情況

單一模型對於具有明確形態的產品具有實際優勢。

  • 行為可預測。 模型不會改變,因此你的提示詞、語調設定和測試保持有效。對於多個模型,行為會因選擇而異,你需要為每個模型建立測試套件。
  • 成本可預測。 只有一組價格。每月預算只需乘法計算,無需查閱目錄。
  • 不會拒絕合法成人內容。對於成人向的中文網路小說、角色扮演與伴侶應用,拒絕回應會破壞體驗。此模型已針對此進行調整。請見中文網路小說與角色扮演。涉及未成年人的性內容則一律禁止。
  • 設定工作量低。一個模型 ID,無需選擇。

權衡的代價是品質風險,這是需要權衡的主要因素。如果此單一模型在你的中文任務上弱於其他模型,你無法在服務內切換。在承諾之前請先測試。公平的測試方法是先給它三個最難的提示詞,例如具有穩定角色聲音的長對話、充滿成語的棘手重寫以及需要嚴格 JSON 的請求,並觀察其失敗之處。

切換測試:相同程式碼,兩個端點

由於兩者皆支援 OpenAI 協定,公平測試的成本極低。依上述費率,一次請求(包含 2,500 個輸入 token 與 500 個輸出 token)的費用為 $0.000375 + $0.00025 = $0.000625,因此 30 次提示詞約需 $0.019,僅佔 $0.50 試用額度的小部分。你可以執行一個腳本同時對兩者進行測試,並排比較答案與成本。

import os
from openai import OpenAI

ours = OpenAI(base_url="https://api.chinesellmapi.com/v1", api_key=os.environ["OUR_KEY"])
router = OpenAI(base_url=os.environ["ROUTER_URL"], api_key=os.environ["ROUTER_KEY"])

prompt = "用轻松的语气,写一段三句话的咖啡店开业公告。"

a = ours.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": prompt}],
)
b = router.chat.completions.create(
    model=os.environ["ROUTER_MODEL"],
    messages=[{"role": "user", "content": prompt}],
)
print("OURS  :", a.choices[0].message.content, a.usage.total_tokens)
print("ROUTER:", b.choices[0].message.content, b.usage.total_tokens)

然後遍歷產品中的 30 個提示詞,隨機排列輸出結果,並請母語人士在不標記的情況下進行評分。將每側的 token 計數乘以其各自的價格,以獲得每個優質答案的成本。路由器的 URL 和模型名稱來自其文件,因此腳本從環境變數中讀取這些值。

成本:試算範例

假設一個中文聊天功能每月發送 2,500 個輸入 token 並獲得 500 個輸出 token,共執行 20,000 次。

  • 輸入:20,000 x 2,500 = 50M tokens,即 50 x $0.15 = $7.50。
  • 輸出:20,000 x 500 = 10M tokens,即 10 x $0.50 = $5.00。
  • 總計:此服務每月 $12.50。

為了比較,請取路由器針對你會選擇的模型的當前價格,套用相同的兩行計算,並檢查其是否在模型價格之外收取任何費用。中文文字的 token 計數因 tokenizer 而異,因此請使用 usage 欄位在兩側進行測量,而非直接沿用我的數據。

路由器端的總和由你填寫,還有一行很重要:模型價格差異很大,因此路由器中最便宜的模型可能是具有不同品質層級的另一個模型。比較可接受答案的成本,而非標題價格。一個必須在 30% 的提示詞上重試的較便宜模型並非節省。

此處沒有訂閱。你從預付額度付款,它永不過期,失敗或被拒絕的請求不會收費。最低儲值為 $20,從 $50 起獲得 +5% 額度,從 $100 起獲得 +10% 額度,從 $200 起獲得 +15% 額度。

向任何供應商提出的七個問題

無論你選擇路由器、此服務或其他服務,相同的檢查清單可保護你在中文產品中免受意外。

  1. 哪個確切的模型回答我的請求,且該模型會在不通知的情況下變更嗎?
  2. 中文 token 如何計數和計費,典型請求的費用是多少?
  3. 當我的內容處於邊界時會發生什麼:拒絕、重寫或靜默過濾?被拒絕的請求會計費嗎?
  4. 新金鑰的並行請求和每分鐘限制是多少?
  5. 我的提示詞數據是否用於訓練或與其他方共享?在此,提示詞不用於訓練。
  6. 如何從程式碼查看餘額?在此,X-Balance-USD 標頭和 GET /v1/balance 提供此資訊。
  7. 退出路徑是什麼?透過 OpenAI 相容 API,只需更改 Base URL。

將答案寫入每個候選者的表格中。表格中的空白,例如「未知」或「未記錄」,也是資訊。

你應知的限制和功能

完整金鑰允許 8 個並行請求和每分鐘 300 個,試用金鑰允許 2 個和每分鐘 60 個。上下文視窗為 100,000 個 token(包含提示詞和補全)。串流輸出、工具呼叫和 JSON 模式均可用,且提示詞不用於訓練。該服務僅限文字:無嵌入、圖片、音訊、影片或微調。

如果你的應用程式同時需要聊天和嵌入功能,請使用此 API 進行聊天,並使用其他供應商提供嵌入功能。這種分工很常見,不需要路由器。在設定檔中保留兩個 Base URL,每個任務一個,這樣你之後可以單獨變更其中一個,而不必更動商業邏輯。

如何試用

使用 Google 或電子郵件註冊,開啟 API 金鑰頁面並一鍵領取 $0.50 試用額度。無需信用卡,有效期為 7 天。接著請參考 中文應用快速入門獲取可用程式碼,或閱讀 文件。費率與贈額請見 定價頁面。試用金鑰適用較低的試用限制,這足以進行數十次提示詞的比較測試。儲值可透過加密貨幣(TRC20 上的 USDT、Base 上的 USDC)支付。

問答

這是 OpenRouter 的即插即用替代品嗎?

僅限聊天。它只服務一個模型,因此你會失去模型選擇、後援機制和非聊天端點。

我可以對兩者使用相同的程式碼嗎?

可以。兩者都使用 OpenAI 協議,因此你只需變更基礎 URL、金鑰和模型名稱。

該模型擅長 中文 嗎?

使用你自己的提示詞進行測試。使用免費試用額度,並請母語使用者評估回答品質。

試用需要信用卡嗎?

不需要。$0.50 的免費試用額度只需註冊並點擊一次即可。

只差填寫表單,即可取得金鑰

建立帳號、複製金鑰、更改基礎 URL。這就是整個設定過程。

取得 API 金鑰