Dżew nie umie napisać zdania. Nie potrafi też wytłumaczyć swojej odpowiedzi. Zamiast tekstu zwraca typowaną decyzję i skalibrowane prawdopodobieństwo, czyli coś, co twój kod przetworzy bezpośrednio, w czasie liczonym w milisekundach i za ułamek ceny zwykłego modelu. Firma Tajpsejf wypuściła go wczoraj. Wersel już mówi o nadzwyczajnych wynikach. Rob Shocks przeszedł przez dokumentację i playground, pokazał trzy typy pytań, które model przyjmuje, i policzył, ile to kosztuje przy prawdziwym obciążeniu.
Dlaczego zwykłe modele nie nadają się do tej roboty
Modele graniczne, których używamy na co dzień, produkują tekst. Są projektowane dla ludzi i pod podążanie za instrukcją. Trenuje się je na ludzkich preferencjach.
To ma konsekwencje, gdy odbiorcą jest maszyna, a nie człowiek. Dostajemy gubienie części rozkładu odpowiedzi, przesadną pewność siebie i brak powtarzalności. Agent może przeczytać tekst wyprodukowany dla człowieka, ale płaci za to czasem, pieniędzmi i ryzykiem, że model zboczy z tematu albo zmyśli.
Zespół Tajpsejf spędził dwa lata na przerobieniu tego procesu. Nazwali wynik uczeniem ze wzmocnieniem ze skalibrowanymi decyzjami. Dżew jest trenowany tak, żeby produkować decyzje dla kodu, a nie zdania dla człowieka. Za firmą stoi Diego Almeida, jeden ze współzałożycieli Chat G P T.
Trzy typy pytań i nic poza nimi
Do modelu wysyłasz stan i pytanie. Stan to dowolna mieszanka: treść maila, dane użytkownika, szczegóły transakcji, obiekt JSON. Pytanie może być jednego z trzech rodzajów.
- Wybór. Dajesz listę opcji, model wskazuje jedną. Zgłoszenie od klienta trafia do kategorii rozliczenia, techniczne albo sprzedaż. Do odpowiedzi dostajesz poziom pewności.
- Ocena. Model punktuje stan na zadanej skali. Na przykład, jak bardzo sfrustrowany jest użytkownik: spokojny, uprzejmy czy wściekły.
- Prawda albo fałsz z prawdopodobieństwem. Czy to jest pilne? Czy w zgłoszeniu pada jakikolwiek termin? Odpowiedź wraca jako liczba.
Co ważne, model nie generuje tokenów. Nie ma pętli autoregresyjnej. Wysyłasz stan, a wszystkie pytania są oceniane równolegle, nie jedno po drugim w kolejce. Stąd bierze się szybkość.
W playgroundzie wygląda to prosto. Przykładowe zapytanie o kolor nieba wraca w kilka milisekund: osiemdziesiąt jeden procent szans na jasny błękit, poziom pewności siedemdziesiąt osiem procent. Bardziej realny przykład to triage zgłoszeń. Stan to skarga, że od tygodnia nikt nie odpowiedział na zgłoszenie o Wi-Fi, plus rola użytkownika, lokalizacja, kanał i czas. Pytania trzy naraz: jaki priorytet, do którego zespołu to trafia, oraz czy pada tu jakiś termin. Model przypisuje priorytet średni, kieruje zgłoszenie dalej i daje pięć procent szans, że termin został wspomniany.
Liczby
Dżew ma być od dwudziestu do dwustu razy tańszy od modeli, których dziś używasz do tych samych zadań, a odpowiedź wraca w milisekundach.
Wersel do klasyfikacji używał taniego modelu, Gemini dwa i pół Flash Lite. Po podmianie na Tajpsejf było sześć razy szybciej, a model wysycił ewaluację, czyli poszedł mocno powyżej dotychczasowego wyniku.
W demonstracji ze sterowaniem inteligentnym domem komenda po polsku naturalnym językiem, w rodzaju włącz światło w salonie, wraca w sto osiemdziesiąt pięć milisekund. Model nie przemiela ścian tekstu, tylko błyskawicznie klasyfikuje polecenie i zwraca typowaną odpowiedź, którą system wykonuje. W teście na skok po linkach Wikipedii, od strony o D N A do strony o kucyku manipuri, dotarł do celu w jedną i siedem dziesiątych sekundy.
Najciekawsza liczba dotyczy skali. Dżew grający godzinę w Doom wykonał szaloną liczbę wywołań, a koszt zamknął się w okolicach siedmiu dolarów.
Determinizm spotyka agentów
Tradycyjne oprogramowanie jest deterministyczne. Tak albo nie, bramka, jeśli to, zrób tamto. Agenci są odwrotnością: elastyczni i użyteczni, ale nie zawsze poprawni, nie zawsze trzymają się planu i nie gwarantują tego samego wyniku za każdym razem.
Dżew celuje w środek. Zostawiasz deterministyczny szkielet aplikacji, a model wstawiasz tam, gdzie decyzji nie dało się dotąd zapisać regułą. Dostaje ustrukturyzowany opis sytuacji, oddaje ustrukturyzowaną instrukcję.
Nazwa nawiązuje do dwóch systemów myślenia z książki Daniela Kahnemana, Myślenie szybkie i wolne. System pierwszy to szybka, intuicyjna ocena. System drugi to wolne, świadome rozumowanie. Każdy model językowy, którego używaliśmy, próbuje być systemem drugim: przemyśl to, rozpisz, token po tokenie. Dżew jest zaprojektowany jako system pierwszy.
Do czego to podpiąć
Autor wylicza zastosowania, które dziś kosztują za dużo, żeby robić je modelem językowym na dużą skalę.
- Strażnik bezpieczeństwa albo przegląd kodu zamiast podagenta, który miele tekst.
- Router modeli. Klasyfikujesz zadanie i decydujesz, który model ma je wykonać.
- Triage zgłoszeń i priorytetyzacja.
- Wybór narzędzia w agencie. Model wskazuje, czy sięgnąć po status zgłoszenia, czy po diagnostykę Wi-Fi, i podaje pewność tego wyboru.
- Wykrywanie oszustw i ocena ryzyka.
Jeden z youtuberów przepuścił przez model setki własnych maili, skategoryzował je i nadał priorytety w kilka sekund. Zespół OpenCode sprawdził go przy sterowaniu przeglądarką i mówi o ogromnej szybkości. Ktoś inny podpiął go do Starkrafta i wygrywa misje.
Autor widzi tu duże znaczenie dla agentów kodujących, zwłaszcza dla obsługi M C P i wywołań z linii poleceń. Szybkie przeskakiwanie przez listę narzędzi M C P albo wybór skilla przestaje być kosztowną operacją.
Zastrzeżenie i dostęp
Tajpsejf wybiera wąską ścieżkę i nie udaje modelu do wszystkiego. To nie będzie najmądrzejszy model, jakiego użyjesz.
Jeśli chcesz czatu, to nie jest model dla ciebie. Jeśli chcesz błyskawicznie, tanio i z wysokim poziomem pewności, to jest to, czego szukasz.
Dostęp idzie przez listę oczekujących, ale autor dostał się po kilku godzinach. W panelu jest playground, zużycie i klucze API. Model można wpiąć przez API albo zainstalować bezpośrednio w Cloud Code.
Pytanie, które warto sobie zadać przy własnej aplikacji, brzmi tak: które przepływy decyzyjne w twoim systemie kosztują najwięcej czasu i pieniędzy, i czy dałoby się je zamienić na ustrukturyzowane wejście i wyjście typu tak albo nie.
Koniec artykułu.