中文 ▾

Chinese LLM API翻译

获取 API 密钥

更新于

便宜的 Chinese LLM API:除了价格还要比什么

每个 token 的价格只是你支付费用的一半。用你自己的文本测量 token,然后比较上下文窗口、速率限制和最低要求。

抽象笔触瓷砖链接到价格标签水晶

从你自己的文本成本开始

一个 便宜的中文 LLM API只有在以合理价格处理你的文本时才称得上便宜。价格表显示的是每百万 token 的成本,但 token 不是字符也不是单词。一个中文句子需要多少 token 取决于 API 背后模型的 tokenizer,即使每 token 费率相同,两个供应商对同一段落的计费总额也可能相差很大。

因此第一步是测量。发送你自己的中文提示词样本,查看响应中的 usage 字段,并计算每次请求的成本。我们的费率是输入 token 每 1M 个 $0.15,输出 token 每 1M 个 $0.50,下面的代码可将样本转换为平均成本。

from openai import OpenAI

client = OpenAI(base_url="https://api.chinesellmapi.com/v1", api_key="YOUR_KEY")
samples = ["请用三句话介绍一下杭州。", "把下面这段话翻译成英文:今天天气很好。"]

for text in samples:
    r = client.chat.completions.create(
        model="uncensored",
        messages=[{"role": "user", "content": text}],
    )
    u = r.usage
    cost = (u.prompt_tokens * 0.15 + u.completion_tokens * 0.50) / 1_000_000
    print(len(text), "chars ->", u.prompt_tokens, "in,", u.completion_tokens, "out, $%.6f" % cost)

运行 30 到 50 个具有代表性的提示词,而不是两个。你看到的 token 与字符的比例是你在对比供应商时应使用的数值。

对比输入、输出和最低要求

其他成本因素与任何英文 API 相同,在中文文本中同样重要。

  • 输入和输出价格。 输出通常每 token 成本更高。这里是 $0.50 对比输入的 $0.15,因此生成回复较长的任务(如故事创作)比分类短文本的成本更高。
  • 最低充值。 我们的最低充值为 $20,最高可达 $500,以整数金额计算。
  • 过期时间和订阅。 此处的额度永不过期,也没有订阅。在对比每个供应商时请检查这两项。
  • 失败请求。 失败或被拒绝的请求在此处不收费。并非所有供应商都这样做。

对于其他提供商,请查看其当前定价,而不是依赖博客文章,包括本文。价格会变动。

语言质量比微小的价格差距更重要

如果你的用户阅读中文,质量问题会表现为混合语言的回答、生硬的措辞、量词使用错误和语气失误。一个每百万 token 便宜几美分但每次回答需要两次尝试的模型,在实际使用中更贵。

按照产品所需风格构建小型评估集:

  1. 十个日常口语中文提示词,十个正式写作提示词,十个你服务的体裁提示词,例如客服或网络小说。
  2. 请母语读者对每个回答的自然度和准确性进行 1 到 5 分的评分。
  3. 检查模型在中文提问时是否用中文回答,并是否按指示保持简体或繁体字符。

将脚本和风格放入 system prompt,例如一条指示模型以自然语气用简体中文回答的说明。该服务运行一个开放权重模型,因此你无法切换模型来修复质量。你可以调整提示词,如果结果不够好,则选择另一个供应商。这是在开始之前需要了解的公平权衡。

还有一个值得花十分钟的检查:问同一个问题三次并对比。采样会使答案有所变化,对于产品你需要知道波动的范围。设置 seed 和较低的 temperature 可以缩小范围,这有助于你调整提示词并仅查看自己的更改。

上下文长度和长中文文档

上下文按 token 计算,而非字符。此处的上下文窗口为 100,000 个 token(包含提示词和补全),补全可以使用剩余的所有 token。对于合同、小说或聊天记录等长文档,在实际调用前请先检查你的样本占用多少 token,不要依赖限制值。同一段中文文本使用的 token 可能比其英文版本少或多,具体取决于 tokenizer。

长输入每次发送都会产生费用。60,000 个 token 的文档每次读取成本为 60,000 x $0.15 / 1M = $0.009。如果你针对它问十个问题,发送十次,仅输入费用就需支付 $0.09。对于重复提问,请拆分工作:先总结一次,然后针对摘要提问。

影响低成本部署的限制

如果速率限制阻碍了你的应用,低价也无济于事。完整密钥允许 8 个并发请求和每分钟 300 个请求。试用密钥允许 2 个和 60 个。超过限制时,API 返回 HTTP 429 错误代码 rate_limited 或 concurrency。在临时过载时,它返回带有 Retry-After: 5 标头的 429。

流式回复会占用其并发槽位直到流结束,这在用户阅读缓慢的聊天应用中容易被忽略。如果你预计同一时刻有超过 8 人聊天,请在 API 前规划队列。最大请求体为 8 MB,远高于文本提示词所需。

常见的中文语言使用场景及其成本概况

不同的任务处于价格尺度的不同位置,因此测试应与任务匹配。

  • 客服聊天。 短问题,中等回复,长 system prompt。输入占主导,因此保持 system prompt 精简。
  • 翻译。 输入和输出长度大致相同。我们的 中英翻译 API 页面 展示了该模式。
  • 故事和角色扮演生成。 短提示词,长回复。输出占主导,因此需关注 $0.50 的费率。
  • 分类和标记。 非常短的输出。这些是每次请求最便宜的任务,非常适合 JSON 模式。

对于第一个工作应用,中文应用快速入门 提供了逐步代码。翻译和标记时设置较低的 temperature,小说则设置较高。大多数客户端原样传递这些设置。

这项服务是什么,不是什么

这是一个托管的、兼容 OpenAI 的文本 API,运行来自独立供应商的一个开放权重模型。该模型经过调整,可在合法成人用途中无内容拒绝地回答。这适合小说、角色扮演和成人伴侣应用,包括 中国网络小说和角色扮演。涉及未成年人的性内容始终不允许。

它不是任何模型厂商的官方 API,也不是路由器。没有 embeddings 接口,没有图像、音频或视频生成,也没有微调。如果你需要用于中文搜索的 embeddings,请将此 API 与另一项服务配合使用。

提示词不用于训练。流式输出、工具调用和 JSON 模式(response_format 配合 json_object)均可用。任何 OpenAI SDK 在设置 base URL 时均可连接:将 base URL 更改为 https://api.chinesellmapi.com/v1,保留你的密钥,并将模型设置为 uncensored。

如何免费试用

使用 Google 或电子邮件登录,打开 API 密钥页面并一键领取 $0.50 的免费试用额度。无需信用卡,每人限领一次,有效期为 7 天。每次请求包含 2,000 个输入 token 和 500 个输出 token,费用为 $0.00055,该试用额度可覆盖约 909 次请求。

之后,充值金额可为 $20 至 $500 之间的任意整数,支持加密货币(TRC20 上的 USDT、Base 上的 USDC)。充值奖励为:$50 起 +5%,$100 起 +10%,$200 起 +15%。定价页面 有完整表格,文档 列出了所有参数。

问答

中文文本消耗多少 token?

这取决于模型的 tokenizer。发送样本并查看 usage 字段以获取你自己的比例。

我可以在付费前测试中文质量吗?

可以。在 API 密钥页面一键领取 $0.50 试用额度,无需绑卡,有效期 7 天。

这是中国模型厂商的官方 API 吗?

不是。它运行来自独立供应商的一个开放权重模型,并非厂商的官方 API。

它提供用于中文搜索的嵌入向量吗?

不提供。它仅是一个文本对话 API,如需嵌入向量请使用其他服务。

只差一张表单,即可获得密钥

创建账户,复制密钥,更改基础 URL。这就是全部设置。

获取 API 密钥