Rozdziel zadania między modele rozumujące a szybkie modele lekkie, tnąc rachunek API

Przestań przepalać najdroższy model rozumujący do wycinania kodu pocztowego z maila — dobierz klasę modelu do trudności każdego kroku w procesie.

Jak dopasować rozmiar modelu językowego do konkretnego zadania

  1. 01

    Używaj klasy Flash / Mini / Haiku do ekstrakcji, klasyfikacji i routingu

    Wyciągnięcie kwoty z faktury, przypisanie kategorii zgłoszenia czy streszczenie krótkiej notatki wychodzi w nowoczesnych małych modelach niemal identycznie jak w dużych, a kosztuje 10–25 razy mniej i działa trzykrotnie szybciej.

  2. 02

    Zarezerwuj modele flagowe i rozumujące (Reasoning) do złożonej logiki i stylu

    Trudna refaktoryzacja wieloplikowa, wykrywanie subtelnych sprzeczności w 50-stronicowej umowie czy dopieszczony polski esej sprzedażowy to miejsca, gdzie droższy model realnie zarabia na swoją cenę.

  3. 03

    Zbuduj zestaw 30 złotych przykładów (Eval Set) przed przełączeniem produkcji

    Zapisz 30 prawdziwych zapytań z idealnymi odpowiedziami i przepuść je przez tańszy model — zobaczysz na twardym procencie zgodności, na których krokach jakość zostaje na poziomie 99%.

  4. 04

    Wyłącz niepotrzebne tokeny długiego myślenia (thinking budget) w prostych krokach

    Modele hybrydowe z włączonym domyślnie rozumowaniem potrafią wygenerować 2000 niewidocznych płatnych tokenów 'namysłu' nad prostym powitaniem — ustaw budżet myślenia na zero lub niski poza trudnymi zagadkami.

Najczęściej zadawane pytania

Ile razy różni się cena miliona tokenów między modelem flagowym a jego mniejszym odpowiednikiem?

Różnica wynosi zazwyczaj od 10-krotnej do nawet 30-krotnej stawki za milion tokenów wyjściowych, przy jednoczesnym skróceniu czasu oczekiwania z kilku sekund do poniżej jednej sekundy.

Czy małe, tanie modele chmurowe nie kaleczą polskiej gramatyki?

Przy zadaniach zwracających dane strukturalne JSON, tagi lub krótkie operacyjne podsumowania polszczyzna współczesnych modeli klasy Mini/Flash/Haiku jest w zupełności poprawna; różnicę czuć dopiero w długim kreatywnym copywritingu.

Co to jest destylacja promptu z dużego modelu do mniejszego?

Używasz najmocniejszego modelu do wygenerowania 5 perfekcyjnych przykładów wejście–wyjście (few-shot examples), a następnie wklejasz te przykłady do instrukcji taniego modelu, który dzięki wzorcom utrzymuje wysoką jakość w produkcji.

Dowiedz się więcej

Powiązane poradniki i wyjaśnienia do tego zadania