Mini C P M pięć, w wersji dwóch miliardów parametrów, dostaje na S W E bench verified czterdzieści sześć punktów i wyprzedza Quen trzy i pół o czterech miliardach parametrów, czyli model dwa razy większy. Ten sam model uruchomiony na czterech bitach, dokładnie według ustawień z własnej dokumentacji, wpada w nieskończoną pętlę w ponad dziewięćdziesięciu procentach generacji. Obie rzeczy są prawdziwe naraz. Zepsutą wersję naprawia jedna flaga. Josh z Better Stack uruchomił model lokalnie na M L X i na Lama c p p, przejrzał benchmarki z obu stron tabeli i sprawdził, gdzie ten model faktycznie konkuruje z dwa razy większymi.
Dlaczego małe modele zwykle polegają przy pracy agentowej
Małe modele od dawna mają ten sam problem. W rozmowie radzą sobie coraz lepiej. Daj im narzędzia, a zwykle się sypią.
Widać to na S W E bench verified, gdzie model dostaje prawdziwe zgłoszenia z GitHuba i ma wyprodukować prawdziwą łatkę. Quen trzy i pół o dwóch miliardach parametrów dostaje pięć punktów. Gemma cztery E dwa B dostaje dwa. To liczby producenta, ale zgadzają się z tym, co widzi każdy, kto próbował małych modeli do pracy agentowej. Model halucynuje schemat narzędzia, zapomina o nim, albo wpada w pętlę.
I wtedy pojawia się Mini C P M pięć z wynikiem czterdzieści sześć. Nie tylko daleko powyżej innych modeli tej wielkości, ale też powyżej Quen trzy i pół o czterech miliardach parametrów.
Co się zmieniło w treningu
Open B M B wskazuje trzy rzeczy. Architektura jest zwykłą llamą, bez egzotyki. Natywny kontekst to około stu dwudziestu ośmiu tysięcy tokenów. A najważniejsze: cały trening zbudowano wokół agentów.
Pięćset tysięcy trajektorii agentowych w nadzorowanym dostrajaniu, potem uczenie ze wzmocnieniem, potem szesnaście osobnych modeli eksperckich z tego etapu scalonych w jeden. Licencja Apache dwa zero, zbiory danych otwarte. Dla uniknięcia pomyłki: mowa o tekstowym wariancie Mini C P M pięć.
Uruchomienie lokalne
Na Macu wystarczy instalacja przez pip w wirtualnym środowisku. Jedna pułapka: starsze wersje M L X L M ignorują listę tokenów końca sekwencji tego modelu, więc model dosłownie nie wie, kiedy przestać mówić.
Pierwszy prompt ściąga wagi. Potem widać blok myślenia, po nim właściwą odpowiedź i licznik tokenów na sekundę. Wszystko to pochodzi z pliku o wielkości tysiąca trzystu megabajtów. Da się też włączyć tryb czatu interaktywnego, w którym model stale nasłuchuje i odpowiada od razu.
Narzędzia działają równie gładko. Wystarczy uruchomić Lama c p p w osobnym terminalu, wycelować w niego klienta OpenAI i podać prostą funkcję pogodową. Model produkuje ustrukturyzowane wywołanie funkcji, Lama c p p je parsuje, a odpowiedź wraca jako poprawna tablica wywołań narzędzi.
Architektura, czyli powód tej zgodności
To gęsty model o dwóch i pół miliarda parametrów, czterdzieści dwie warstwy, grupowana uwaga zapytań. Ale najważniejsza jest jedna linijka: architektura to Llama for causal L M.
Mini C P M cztery tak nie wyglądał. Używał własnej rzadkiej uwagi i przewidywania wielu tokenów naraz. To ciekawe rozwiązania, ale każdy silnik uruchomieniowy potrzebował dla nich osobnego wsparcia. Mini C P M pięć to porzuca. Jeśli twój silnik potrafi załadować llamę, jest duża szansa, że załaduje i ten model. M L X, Lama c p p, Web L L M. Zgodność to jedna z najmocniejszych stron tego modelu.
Tabela benchmarków czytana w dwie strony
Czytana w jedną stronę wygląda absurdalnie dobrze. Przeciwko Quen trzy i pół o czterech miliardach parametrów: Live codebench sześćdziesiąt dziewięć do pięćdziesięciu sześciu. S W E bench verified czterdzieści sześć do trzydziestu czterech. Brzmi jak model dwumiliardowy zastępujący czteromiliardowy.
Teraz druga strona tej samej tabeli. S W E bench Pro: czternaście przeciwko dwudziestu ośmiu, czyli połowa wyniku. Terminal bench: około ośmiu i pół przeciwko mniej więcej dwudziestu sześciu, czyli jedna trzecia. Quen wygrywa też na M M L U Pro, G P Q A Diamond i Logbench dwa. A w zwykłym podążaniu za instrukcją Mini C P M pięć przegrywa nawet z dwumiliardowym Quenem trzy i pół.
Więc kiedy autorzy nazywają ten model klasą czterech miliardów parametrów, jest w tym trochę prawdy. Dla kodu, wywołań narzędzi, matematyki i części zadań agentowych jak najbardziej. Na całej szerokości tabeli raczej nie.
Problem, przez który model wygląda na zepsuty
Większy kłopot pojawia się przy wersji skwantyzowanej uruchomionej z ustawieniami z dokumentacji. Ktoś na trackerze na GitHubie przepuścił pliki G G U F przez human eval plus.
- Wersja Q osiem: wynik około czterdziestu trzech, a pięćdziesiąt pięć procent generacji uciekło w powtórzenia.
- Wersja Q cztery K M: wynik około sześciu, a dziewięćdziesiąt dwa procent generacji uciekło w powtórzenia.
Dziewięćdziesiąt dwa procent. To wygląda na model zepsuty do zera. Potem zmienili jedną rzecz: karę za powtórzenia ustawioną na jeden i piętnaście setnych.
Wersja Q osiem skacze z około czterdziestu trzech na dziewięćdziesiąt dwa. Wersja Q cztery skacze z sześciu na siedemdziesiąt jeden.
Open B M B wyjaśnili potem na Hugging Face, że domyślna wartość min p w Lama c p p wynosi pięć dziesiątych i to jest właściwe źródło problemu, a powinno tam być zero. Tego nie było w dokumentacji, kiedy ludzie zaczęli to uruchamiać.
Przy dwóch miliardach parametrów jeden zły domyślny parametr potrafi zamienić użyteczny model w nic. Sampler to już nie jest samo strojenie. To część właściwego modelu.
Drobny druk
Wszystkie benchmarki są liczone przez producenta. Tabela porównawcza zawiera tylko Quena i Gemmę. Nie ma Llamy, nie ma Phi, nie ma Smol L M trzy, nie ma nawet wiersza z Mini C P M cztery, który pokazałby postęp z generacji na generację. Ktoś poprosił w zgłoszeniu o skrypty ewaluacyjne. Bez odpowiedzi.
Modelu nie ma w bibliotece Ollamy, więc trzeba napisać własny plik modelu. Nie ma też strony w L M Studio, plik G G U F wrzuca się ręcznie.
Myślenie jest włączone domyślnie, więc każda odpowiedź musi najpierw przejść przez rozumowanie. W szablonie czatu jest przełącznik wyłączający myślenie, ale oficjalna dokumentacja podaje profil próbkowania wyłącznie dla trybu z myśleniem. Nikt jeszcze nie zmierzył, jak model zachowuje się z myśleniem wyłączonym.
Języki: tylko angielski i chiński. Pobrań ponad sto tysięcy dla wersji dwumiliardowej i sześćset tysięcy dla jednomiliardowej. Ludzie tego używają, tylko mało o tym mówią.
Czy warto go używać
Do lokalnego agenta kodującego, na przykład na MacBooku Air, to całkiem sensowna zabawka. Josh uruchomiłby wariant M L X na czterech bitach albo G G U F Q osiem. Min p ustawiłby na zero, a karę za powtórzenia na wartość, którą autorzy faktycznie zalecają do danego zadania. Jak na ten rozmiar może być mocny.
Do naprawdę dużych zadań nadal wybrałby Quena trzy i pół o czterech miliardach parametrów. I nie jest to spór z Open B M B — inne ich modele wypadały bardzo dobrze.
Ciekawe nie jest to, że model dwumiliardowy bije czteromiliardowy. Ciekawe jest to, jak blisko krawędzi te małe modele już podchodzą. Sam Mini C P M pięć jest w porządku. Psują go domyślne ustawienia.
Koniec artykułu.