Obniż koszt tokenów API o 50–85% dzięki Prompt Cachingowi oraz trybowi Batch API

Przestań płacić pełną stawkę za wysyłanie tej samej długiej instrukcji i bazy wiedzy przy każdym zapytaniu oraz przełącz zadania nocne na połowę ceny.

Cztery dźwignie inżynieryjne obniżające fakturę za API bez zmiany modelu

  1. 01

    Umieść 100% stałej treści na samym początku promptu (zasada prefiksu)

    Pamięć podręczna prefiksu (Prompt Caching) działa od góry do pierwszej zmiennej litery — jeśli na starcie instrukcji wstawisz bieżący czas z sekundami lub imię klienta, unieważnisz cały cache poniżej!

  2. 02

    Przenieś wszystkie zadania niewymagające odpowiedzi w sekundę do Batch API

    Masowe tagowanie katalogu, generowanie opisów, nocne podsumowania rozmów czy audyt artykułów przetwarzane asynchronicznie do 24 godzin dostają u głównych dostawców automatyczny rabat 50%.

  3. 03

    Pamiętaj, że tokeny wyjściowe (Output) kosztują wielokrotnie więcej niż wejściowe

    Nie każ modelowi przepisywać oryginalnego artykułu ani powtarzać długich uzasadnień przy klasyfikacji 10 tys. wierszy — zwracaj sam kod kategorii i identyfikator.

  4. 04

    Przycinaj historię długiej rozmowy czatu zamiast wysyłać 40 poprzednich tur

    W wieloturowym czacie każde kolejne słowo użytkownika wysyła całą dotychczasową konwersję od nowa — streszczaj starsze tury po 10 wymianach i odcinaj ciężkie surowe wyniki narzędzi.

Najczęściej zadawane pytania

Ile realnie oszczędza Prompt Caching na powtarzalnej instrukcji i dokumentacji?

Odczyt z pamięci podręcznej jest tańszy o 50% do nawet 90% względem standardowych tokenów wejściowych (zależnie od dostawcy) i dodatkowo zauważalnie skraca czas pojawienia się pierwszego słowa odpowiedzi (TTFT).

Jak długo utrzymuje się aktywny cache prefiksu między kolejnymi zapytaniami do API?

Standardowe okno pamięci podręcznej trwa zazwyczaj od 5–10 minut od ostatniego użycia (z automatycznym przedłużeniem przy stałym ruchu), a niektórzy dostawcy oferują również wydłużone okna godzinne pod większe bazy kontekstu.

Czy język polski zużywa więcej tokenów w API niż ten sam tekst po angielsku?

Tak — ze względu na budowę tokenizerów i polskie końcówki fleksyjne polskie zdanie zajmuje średnio o 20–35% więcej tokenów niż odpowiednik angielski, choć w najnowszych tokenizerach (np. o200k) ta różnica mocno zmalała.

Dowiedz się więcej

Powiązane poradniki i wyjaśnienia do tego zadania