PL ▾

Chinese LLM APITłumaczenie

Pobierz klucz API

Zaktualizowano

Tani Chinese LLM API: Co porównać poza ceną

Cena za token to tylko połowa tego, co płacisz. Zmierz tokeny na własnym tekście, a następnie porównaj kontekst, limity i kwoty minimalne.

Abstrakcyjne kafelki z pędzla połączone z kryształem cenowym

Zacznij od kosztu własnego tekstu

A tani chiński LLM API jest tani tylko wtedy, gdy obsługuje Twój tekst po uczciwej cenie za zapytanie. Listy cenowe pokazują koszt za milion tokenów, ale token to nie znak ani słowo. Ile tokenów potrzebuje chińskie zdanie, zależy od tokenizera modelu za API, a dwóch dostawców może naliczyć bardzo różne kwoty za ten sam akapit, nawet przy identycznych stawkach za token.

Pierwszym krokiem jest więc pomiar. Wyślij próbkę własnych promptów po chińsku, odczytaj pole usage w odpowiedzi i oblicz koszt za zapytanie. Nasze stawki to $0,15 za 1M tokenów wejściowych i $0,50 za 1M tokenów wyjściowych, a poniższy kod zamienia próbkę na średni koszt.

from openai import OpenAI

client = OpenAI(base_url="https://api.chinesellmapi.com/v1", api_key="YOUR_KEY")
samples = ["请用三句话介绍一下杭州。", "把下面这段话翻译成英文:今天天气很好。"]

for text in samples:
    r = client.chat.completions.create(
        model="uncensored",
        messages=[{"role": "user", "content": text}],
    )
    u = r.usage
    cost = (u.prompt_tokens * 0.15 + u.completion_tokens * 0.50) / 1_000_000
    print(len(text), "chars ->", u.prompt_tokens, "in,", u.completion_tokens, "out, $%.6f" % cost)

Uruchom 30 do 50 reprezentatywnych promptów, a nie tylko dwa. Stosunek tokenów do znaków, który zobaczysz, to liczba, której należy użyć przy porównywaniu dostawców.

Porównaj wejście, wyjście i minimum

Inne czynniki kosztowe są takie same jak w przypadku dowolnego API angielskojęzycznego i mają takie samo znaczenie dla tekstu chińskiego.

  • Ceny wejścia i wyjścia. Wyjście zwykle kosztuje więcej za token. Tutaj jest to $0,50 wobec $0,15 za wejście, więc zadanie generujące długie odpowiedzi, takie jak pisanie opowiadań, kosztuje więcej niż klasyfikacja krótkich tekstów.
  • Minimalne doładowanie. Nasze zaczyna się od $20 i idzie w pełnych kwotach do $500.
  • Ważność i subskrypcja. Kredyt tutaj nigdy nie wygasa i nie ma subskrypcji. Sprawdź oba parametry u każdego dostawcy, którego porównujesz.
  • Nieudane zapytania. Nieudane lub odrzucone zapytania nie są tutaj rozliczane. Nie każdy dostawca to robi.

W przypadku innych dostawców sprawdź ich aktualną wycenę, zamiast polegać na wpisie na blogu, w tym na tym. Ceny się zmieniają.

Jakość językowa ma większe znaczenie niż mała różnica w cenie

Jeśli Twoi użytkownicy czytają po chińsku, problemy z jakością objawiają się mieszanymi odpowiedziami, niezgrabnymi sformułowaniami, błędnymi słowami miary i pomyłkami w tonie. Model tańszy o kilka centów za milion tokenów, ale wymagający dwóch prób na odpowiedź, jest w praktyce droższy.

Stwórz mały zestaw ewaluacyjny w stylu, jakiego wymaga Twój produkt:

  1. Dziesięć promptów w potocznym chińskim, dziesięć w piśmie formalnym, dziesięć w gatunku, który obsługujesz, np. obsługa klienta lub fikcja internetowa.
  2. Poproś rodowitego czytelnika o ocenę każdej odpowiedzi pod kątem naturalności i trafności w skali od 1 do 5.
  3. Sprawdź, czy model odpowiada po chińsku, gdy pytasz po chińsku, i czy trzyma się znaków uproszczonych czy tradycyjnych zgodnie z instrukcją.

Umieść skrypt i styl w systemowym prompcie, np. jako notatkę mówiącą modelowi, aby odpowiadał po uproszczonym chińsku w naturalnym tonie. Usługa obsługuje jeden model o otwartych wagach, więc nie możesz przełączyć modelu, aby poprawić jakość. Dostosowujesz prompt, a jeśli wyniki nie są wystarczające, wybierasz innego dostawcę. To uczciwy kompromis, o którym warto wiedzieć przed startem.

Jedna dodatkowa kontrola jest warta dziesięciu minut: zadaj to samo pytanie trzy razy i porównaj wyniki. Próbkowanie powoduje wahania odpowiedzi, a dla produktu chcesz wiedzieć, jak szeroki jest rozrzut. Ustawienie seed i niskiego temperature zawęża ten rozrzut, co pomaga przy strojeniu prompta, gdy chcesz zobaczyć tylko własne zmiany.

Długość kontekstu i długie dokumenty po chińsku

Kontekst liczony jest w tokenach, nie znakach. Okno tutaj wynosi 100 000 tokenów, prompt plus uzupełnienie, a uzupełnienie może wykorzystać wszystko, co pozostało. Dla długich dokumentów, takich jak umowy, powieści lub logi czatu, sprawdź, ile tokenów zajmuje Twoja próbka przy rzeczywistym zapytaniu, zanim założysz się na limit. Ta sama strona tekstu chińskiego może zużyć mniej lub więcej tokenów niż jej angielska wersja, w zależności od tokenizera.

Długie wejścia też kosztują za każdym razem, gdy je wysyłasz. Dokument o 60 000 tokenach kosztuje 60 000 x $0,15 / 1M = $0,009 za odczyt. Jeśli zadasz o niego dziesięć pytań, wyślesz go dziesięć razy, zapłacisz $0,09 tylko za wejście. Przy powtarzających się pytaniach podziel pracę: raz zsumaryzuj i zadawaj pytania na podstawie streszczenia.

Limity wpływające na tanią konfigurację

Niska cena nie pomoże, jeśli limity zapytań zahamują Twoją aplikację. Pełny klucz pozwala na 8 równoległych zapytań i 300 zapytań na minutę. Klucz próbny pozwala na 2 i 60. Przekroczenie limitu zwraca API kod HTTP 429 z kodem błędu rate_limited lub concurrency. Przy tymczasowym przeciążeniu zwraca 429 z nagłówkiem Retry-After: 5.

Strumieniowana odpowiedź trzyma slot współbieżności do końca strumienia, co łatwo zapomnieć w aplikacji czatu, gdzie użytkownicy czytają powoli. Zaplanuj kolejkę przed API, jeśli spodziewasz się więcej niż 8 osób czatujących w tym samym momencie. Maksymalna wielkość ciała zapytania to 8 MB, co jest znacznie więcej niż potrzebuje prompt tekstowy.

Typowe przypadki użycia po chińsku i ich profil kosztowy

Różne zadania znajdują się w różnych punktach skali cenowej, więc dopasuj test do zadania.

  • Czat obsługi klienta. Krótkie pytania, średnie odpowiedzi, długi prompt systemowy. Dominuje wejście, więc trzymaj prompt systemowy zwięzłym.
  • Tłumaczenie. Wejście i wyjście są około tej samej długości. Nasza strona API tłumaczenia chińsko-angielskiego pokazuje ten wzorzec.
  • Generowanie opowiadań i roleplay. Krótkie prompty, długie odpowiedzi. Dominuje wyjście, więc warto śledzić stawkę $0,50.
  • Klasyfikacja i tagowanie. Bardzo krótkie wyjścia. To najtańsze zadania za zapytanie i dobre dopasowanie do trybu JSON.

Dla pierwszej działającej aplikacji Szybki start aplikacji języka chińskiego zawiera kod krok po kroku. Ustaw temperature niżej dla tłumaczenia i tagowania, i wyżej dla fikcji. Większość klientów przekazuje te ustawienia bez zmian.

Czym jest ta usługa, a czym nie

To hostowane, kompatybilne z OpenAI API tekstowe obsługujące jeden model o otwartych wagach od niezależnego dostawcy. Model jest dostrojony do odpowiadania bez odrzuceń treści dla prawnego użytku dorosłego. Pasuje to do fikcji, roleplay i aplikacji towarzyszących dla dorosłych, w tym chińskiej fikcji internetowej i roleplay. Treści seksualne z udziałem nieletnich są zawsze zabronione.

To nie jest oficjalne API żadnego dostawcy modeli i nie jest routerem. Nie ma endpointa embeddingów, generowania obrazu, audio ani wideo ani dostrajania. Jeśli potrzebujesz embeddingów do wyszukiwania po chińsku, połącz to API z inną usługą do tej części.

Prompty nie są używane do trenowania. Działają strumieniowanie, wywoływanie narzędzi i tryb JSON (response_format z json_object). Każde SDK OpenAI połączy się, gdy ustawisz bazowy URL: zmień bazowy URL na https://api.chinesellmapi.com/v1, zachowaj swój klucz i ustaw model na uncensored.

Jak wypróbować za darmo

Zarejestruj się przez Google lub e-mail, otwórz stronę klucza API i odbierz $0,50 kredytu próbnego jednym kliknięciem. Nie jest potrzebna karta, można skorzystać raz na osobę, a kredyt jest ważny przez 7 dni. Przy 2 000 tokenach wejściowych i 500 tokenach wyjściowych na zapytanie, co kosztuje $0,00055, kredyt starcza na około 909 zapytań.

Po tym doładowania to dowolna kwota całkowita od $20 do $500, kryptowalutami (USDT na TRC20, USDC na Base). Bonusy to +5% od $50, +10% od $100 i +15% od $200. Na stronie z cenami znajduje się pełna tabela, a dokumentacja wymienia każdy parametr.

Pytania i odpowiedzi

Ile tokenów zużywa tekst chiński?

Zależy to od tokenizera modelu. Wyślij próbkę i sprawdź pole usage, aby uzyskać własny stosunek.

Czy mogę przetestować jakość chińskiego przed płatnością?

Tak. Odbierz $0,50 kredytu próbnego jednym kliknięciem na stronie klucza API, bez karty, ważny przez 7 dni.

Czy to oficjalne API chińskiego dostawcy modeli?

Nie. Działa na jednym modelu o otwartych wagach od niezależnego dostawcy i nie jest oficjalnym API dostawcy.

Czy oferuje embeddingi do wyszukiwania po chińsku?

Nie. To tylko API czatu tekstowego, więc do embeddingów użyj innej usługi.

Twój klucz jest o jeden formularz

Utwórz konto, skopiuj klucz, zmień bazowy adres URL. To cała konfiguracja.

Pobierz klucz API