Potok generacji wspomaganej wyszukiwaniem jest pełen miejsc, w których trzeba podjąć decyzję: co przepuścić przez reranker, co odfiltrować, co zacytować. Prompt Engineering pokazuje, że model Dżew nadaje się do tych punktów lepiej niż cross encoder i taniej niż model językowy. Kluczowa różnica to sterowalność. Ten sam zestaw dokumentów przy zmienionym kryterium wraca w innej kolejności, a organizacja może zmienić politykę bez dotykania logiki biznesowej. Do tego liczby: dwadzieścia jeden procent trafności bazowej rośnie do pięćdziesięciu czterech procent po dopięciu Dżewa jako rerankera.
Trzy prymitywy i problem, który rozwiązują
Dżew daje trzy prymitywy. Pierwszy to decyzja binarna, czyli klasyfikator prawda albo fałsz. Drugi to wybór jednej opcji z listy według zadanego kryterium. Trzeci to drabinka ocen, w której przypisujesz różne punkty różnym opcjom. Autor skupia się na reranking, bo ten przypadek najlepiej pokazuje, co model potrafi.
Punktem wyjścia jest sytuacja, która wykłada większość cross encoderów: polityka organizacji się zmienia, ale kontekst i logika biznesowa zostają te same. Wektory tego nie widzą.
Odległości wektorowe mierzą tylko bliskość semantyczną, a nie poprawność w świetle twojej logiki biznesowej.
Dokumentacja API dostaje nową wersję. Jeden użytkownik chce pogłębionego wyjaśnienia architektury, inny szybkiego fragmentu do skopiowania. Wyszukiwanie wektorowe zwróci w obu przypadkach to samo.
Model językowy jako reranker potrafi pójść za instrukcją, ale kosztuje nieproporcjonalnie dużo. Dżew, zdaniem autora, łączy sterowalność z bardzo niskim kosztem. Przy rejestracji dostaje się pięć dolarów darmowego kredytu, a w przykładzie użyty jest oficjalny S D K dla Pythona. Można też uderzać prosto w rest API.
Kryterium jako wykonywalna polityka
Najważniejsza część eksperymentu to potraktowanie kryterium jak polityki, a nie jak promptu. Zamiast luźnych instrukcji kryterium wyznacza twarde granice decyzji.
W przykładzie pytanie brzmi: jak naprawić błąd czterysta jeden, brak autoryzacji, zwracany przez API. Do tego zestaw fragmentów tekstu z metadanymi, dokładnie taki, jaki wypluwa zwykłe wyszukiwanie wektorowe albo pełnotekstowe. Nad tym pracuje prymityw binarny, który zwraca skalibrowane prawdopodobieństwo.
Instrukcja mówi modelowi, czy fragment odpowiada bezpośrednio na pytanie. Ale definicje obu stron są rozpisane osobno. Prawda oznacza konkretną odpowiedź, o którą pytanie prosi. Fałsz oznacza fragment, który dzieli słowa albo temat, ale odpowiedzi nie daje. To nie jest gołe prawda i fałsz, tylko dokładnie ten podział, którego potrzebujesz.
Test na czterech wariantach pokazuje, że rozróżnienie działa. Jest odpowiedź wprost, w rodzaju: zwroty trafiają na pierwotną metodę płatności w ciągu czternastu dni. Jest fragment pokrywający się tematycznie, ale nieodpowiadający. Jest dopasowanie po samych słowach kluczowych. I jest tekst zupełnie nie na temat. Najwyższe prawdopodobieństwo dostaje tylko odpowiedź wprost, reszta wraca z bardzo niską pewnością. To wystarczy, żeby ustawić próg i odrzucać wszystko poniżej.
Współbieżność
Autor sprawdził, jak model znosi równoległe pytania, i to jest osobny argument za wpięciem go w potok.
Siedemnaście decyzji na sekundę puszczone jedna po drugiej zajmuje około czterdziestu sekund. Te same decyzje przepuszczone przez sześćdziesiąt cztery równoległe pule wracają w siedem i sześć dziesiątych sekundy.
Ta sama lista, dwie różne kolejności
Właściwe porównanie obejmuje trzy rozwiązania: cross encoder, model językowy jako reranker i Dżewa. Dla Dżewa zdefiniowane są dwa kryteria. Pierwsze nazywa się autorytatywna wersja druga i jest restrykcyjne. Drugie nazywa się szybkie obejście i jest luźniejsze.
Wynik to sedno całego materiału. Ranking dokumentów zmienia się drastycznie w zależności od tego, które kryterium podasz. Te same fragmenty, ta sama kwerenda, inna polityka, inna kolejność. Reranker staje się sterowalny.
Cross encoder tego nie potrafi. Dostaje parę pytanie i fragment, zwraca ocenę i nie ma jak podążyć za żadną instrukcją. Jest zamrożony w czasie. Model językowy instrukcję wykona, ale zapłacisz za to dużo i zwykle poczekasz dłużej.
Koszt rośnie z rozmiarem fragmentu
Autor przepuścił ten sam prompt i tę samą kwerendę przez Dżewa, Gemini Flash Lite i Gemini Flash. Koszt modeli językowych jest nieporównywalnie wyższy, ale ciekawsze jest to, od czego zależy.
Przy małych fragmentach tekstu szybkość i koszt Dżewa są zbliżone do Flash Lite. Różnica otwiera się, gdy zaczynasz zwiększać rozmiar fragmentu. Wtedy koszt konkurencji rośnie, a przewaga Dżewa staje się wyraźna. W potokach z dużymi fragmentami to jest właśnie miejsce, w którym model się broni.
Trafność
Trafność końcowej odpowiedzi zależy od trafności wyszukiwania. Autor zbudował punkt odniesienia na zwykłym wyszukiwaniu pełnotekstowym i puścił przez niego zestaw kwerend. Trafność bazowa wyniosła dwadzieścia jeden procent. Po dopięciu Dżewa jako rerankera skoczyła do pięćdziesięciu czterech procent.
To jest trafność dla pierwszego wyniku. W realnym potoku bierzesz zwykle dziesięć albo dwadzieścia fragmentów i liczysz trafność dla k najlepszych, więc liczba będzie wyraźnie wyższa.
Gdzie to wpiąć
Wniosek autora jest prosty. Dżew nadaje się do zastępowania punktów decyzyjnych w przepływach, które już masz, a generacja wspomagana wyszukiwaniem jest najlepszym przykładem takiego przepływu. Model wchodzi jako zamiennik w miejsce rerankera i nie musi to być decyzja binarna.
Poza rerankingiem autor wskazuje jeszcze jedno zastosowanie, do którego chce wrócić osobno: walidacja encji wyciągniętych z korpusu przy budowie grafowego R A G.
Koniec artykułu.